6sense Insights Inc. melhora a escalabilidade e acelera a velocidade de lançamento no mercado com a migração para o Amazon EKS

Com sede em São Francisco, Califórnia, a 6sense fornece análises de dados, insights de vendas e outras previsões para que as equipes de receita de empresa para empresa possam entender melhor seus compradores e clientes. Em 2014, a empresa começou a usar o Apache Mesos, uma solução de código aberto que gerencia clusters de computação, para orquestrar suas estruturas de pipeline de dados. “À medida que crescemos, encontramos várias limitações no Apache Mesos”, afirma George Liaw, diretor de engenharia de infraestrutura da 6sense. “Só podíamos oferecer recursos de computação para uma estrutura de cada vez, o que atrasou nossos processos. Também tivemos problemas de escalabilidade.” 

Em busca de uma solução mais escalável, a 6sense começou a explorar o Kubernetes, um sistema de orquestração de contêineres de código aberto, para melhorar seus pipelines de dados. Em 2018, a empresa migrou seus serviços de aplicativos e API para dois clusters Kubernetes e começou a usar o kOps, um conjunto de ferramentas para instalar, operar e excluir clusters Kubernetes na nuvem. Embora uma arquitetura em contêineres tenha melhorado a agilidade da 6sense, o kOps não era totalmente gerenciado, o que exigia que a equipe da 6sense realizasse operações e gerenciamento diários significativos. “Usando o kOps, tivemos muita sobrecarga de manutenção”, observa Liaw. “Percebemos que, se pudéssemos reduzir essas tarefas manuais, nossa equipe poderia focar seu tempo em atender ao cliente em vez de gerenciar o Kubernetes.”

Em 2019, a 6sense optou por investir no AWS Enterprise Support, que fornece um serviço semelhante ao de um “concierge” para ajudar as empresas a alcançar resultados e obter sucesso na nuvem. A equipe do AWS Enterprise Support ajudou a empresa a perceber que poderia aliviar os problemas que estava enfrentando ao migrar para o Amazon EKS, que é totalmente gerenciado. “Para a 6sense, o Amazon EKS foi quase um substituto imediato que magicamente funcionou melhor”, diz Liaw.

Em setembro de 2021, a 6sense começou a migrar as workloads restantes das soluções herdadas executadas no Apache Mesos e no kOps para o Amazon EKS. A empresa migrou a maioria de seus aplicativos e workloads de serviços de API para o Amazon EKS na primeira semana e desenvolveu uma solução de orquestração de pipeline estável e útil até o final de 2021. “Quando começamos a executar os clusters do Amazon EKS, revelamos recursos valiosos”, diz Liaw. “Conseguimos testar clusters com configurações mais flexíveis sem nos preocupar com sua estabilidade.” Em dezembro de 2021, a empresa executava de 7 a 8 clusters no Amazon EKS e havia concluído 80% da sua migração. 

Usando o Amazon EKS, a 6sense viu uma melhoria de 400% na throughput de workloads, permitindo o processamento de 1 a 2 TB de dados por dia, crescendo cada vez mais. Com essa velocidade, a 6sense pode manter workloads altamente complexas e entregar rapidamente informações valiosas a seus clientes 65% mais rápido. 

A solução da 6sense baseada na AWS não só é extremamente rápida, mas também altamente escalável. “Podemos escalar um cluster no Amazon EKS quase infinitamente para executar o máximo possível de itens simultaneamente”, diz Premal Shah, vice-presidente sênior de engenharia e infraestrutura da 6sense. “Não precisamos mais nos preocupar com o volume de execuções por hora.” A empresa também conta com as instâncias spot do Amazon Elastic Compute Cloud (Amazon EC2), que são usadas para executar grandes workloads com uma economia significativa de custos e acelerar as workloads executando tarefas paralelas. Ao usar as instâncias spot do Amazon EC2, a 6sense pode provisionar a capacidade necessária para suportar sua expansão futura e, ao mesmo tempo, otimizar os custos. 

A 6sense também acelerou consideravelmente a velocidade do desenvolvimento com a migração para a AWS. No Apache Mesos, a empresa estava limitada em sua capacidade de criar, testar e implantar novos pipelines de dados devido às limitações no throughput de contêineres. No Amazon EKS, a 6sense pode executar até 300% mais contêineres por hora. Ela também pode executar o mesmo número de contêineres Docker no Amazon EKS em aproximadamente 50% do tempo gasto com a solução anterior. Ao atingir esse nível de velocidade e escalabilidade, a 6sense melhorou a produtividade do desenvolvedor e acelerou a velocidade de comercialização de novos aplicativos e recursos. 

Como o Amazon EKS é um serviço Kubernetes totalmente gerenciado, a 6sense não precisa mais se concentrar no gerenciamento ou na operação de seus clusters Kubernetes. Usando essa economia de tempo, sua equipe pode focar em melhorar a experiência do cliente. “Na AWS, podemos aumentar a velocidade do desenvolvedor, reduzir a burocracia desnecessária e atender nossos clientes da melhor maneira possível”, afirma Liaw. “Podemos oferecer novos recursos, insights e produtos para eles o mais rápido possível. Quanto mais rápido pudermos inovar para atender nossos clientes, melhor será a experiência para todos, incluindo nossa equipe.”

Ao migrar para clusters totalmente gerenciados do Amazon EKS, a 6sense pode escalar e gerenciar com eficácia seu pipeline de dados, o que acelerou a velocidade de entrega de insights aos clientes. A empresa planeja melhorar ainda mais seus recursos de escalabilidade usando o Karpenter, um escalador automático de cluster Kubernetes de código aberto, criado junto com a AWS. 

Na AWS, a 6sense liberou seus funcionários para se concentrarem na inovação, e a empresa continuará a usar os serviços da AWS para desenvolver novas soluções geradoras de valor. “Na 6sense, agimos rapidamente e inovamos na AWS sem limitações”, diz Liaw.