Como a Elastic criou uma solução sem servidor para pesquisa, observabilidade e segurança usando a AWS

Fundada em 2012, a Elastic é conhecida por seu mecanismo distribuído de pesquisa e analytics, o Elasticsearch. Em 2015, a empresa adicionou uma oferta em nuvem à sua oferta on-premises, chamada Elastic Cloud. A oferta em nuvem foi inicialmente desenvolvida com base na AWS, mas depois foi disponibilizada em todas as nuvens públicas.

À medida que a Elastic se expandiu para soluções de IA generativa, ela desenvolveu o Search AI Lake, uma arquitetura otimizada para a nuvem que oferece vastos recursos de armazenamento e pesquisa por meio do Elasticsearch para consultas de baixa latência de grandes volumes de dados.

Em 2022, a empresa começou a desenvolver o Elastic Cloud Serverless no Search AI Lake, que elimina a carga administrativa de gerenciar capacidade, dimensionamento e upgrades, tornando mais simples para os clientes usar os recursos das soluções para IA generativa e outras aplicações. A Elastic utilizou a AWS para criar essa oferta sem servidor. “A AWS é o ambiente de nuvem mais utilizado no mundo, e grande parte dos nossos clientes está na AWS”, afirma Uri Cohen, vice-presidente de gerenciamento de produtos para engenharia de plataformas da Elastic.

A Elastic utiliza uma arquitetura sem estado para alcançar a capacidade de gerenciamento, a escalabilidade e a eficiência do Elastic Cloud Serverless. A equipe arquitetou a solução para garantir que os clientes não enfrentassem desafios operacionais e que o sistema se ajustasse corretamente às workloads dos clientes, usando serviços como o Amazon Elastic Compute Cloud (Amazon EC2), que fornece capacidade de computação segura e redimensionável para praticamente qualquer workload. Para uma otimização ainda maior, a Elastic usa processadores AWS Graviton, uma família de processadores projetados para oferecer a melhor relação preço/performance para workloads em nuvem executadas no Amazon EC2, com unidades de estado sólido NVMe conectadas localmente. “A performance que obtemos dessas unidades NVMe pelo preço que pagamos por elas em nossa oferta de nuvem existente é incomparável, então foi natural para nós usar instâncias AWS Graviton também para nossa oferta sem servidor”, diz Cohen. A Elastic pode armazenar centenas de petabytes de dados nas unidades enquanto gerencia dezenas de milhares de instâncias de computação diariamente.

Para ajudar os clientes a armazenar grandes quantidades de dados a custos muito baixos, o Elastic Cloud Serverless usa o Amazon Simple Storage Service (Amazon S3) (um serviço de armazenamento de objetos) como sistema de registro dos dados dos clientes. A empresa utiliza o Amazon S3 para armazenar e recuperar grandes quantidades de dados com alta disponibilidade e durabilidade. “Com nossa nova arquitetura Search AI Lake, estamos oferecendo aos clientes a capacidade de armazenar grandes quantidades de dados, como um data lake, mas que pode ser pesquisado de forma interativa”, diz Cohen. “A nova arquitetura oferece suporte a todas as coisas incríveis que você pode fazer com o Elasticsearch, pesquisando grandes quantidades de dados e obtendo respostas imediatamente.”

Além disso, a Elastic usa o Amazon Elastic Kubernetes Service (Amazon EKS), a maneira mais confiável de iniciar, executar e escalar o Kubernetes, como base para todos os seus serviços. A Elastic também utiliza suas próprias soluções de observabilidade e segurança para monitorar e proteger a oferta sem servidor.

Em outubro de 2023, a Elastic lançou uma prévia privada do Elastic Cloud Serverless. Em abril de 2024, a oferta foi lançada para pré-visualização pública em quatro Regiões da AWS, e mais de 1.000 clientes a testaram e deram feedback. Durante o período de prévia, a SAP Concur destacou a simplicidade de uso da solução e seus impressionantes recursos de ajuste de escalabilidade automática. A Two Six Technologies também elogiou o processo de configuração simples, observando que era possível provisionar novos projetos sem conhecimento técnico especializado, a empresa experimentou latência quase nula ao ingerir e consultar dados.

A Elastic descobriu que 20% das suas workloads na oferta atual de nuvem estavam em uma Região da AWS. Para garantir que a nova solução sem servidor fosse suficientemente escalável, planejou sua capacidade operacional nas Regiões da AWS de acordo com isso. Ele também compartimentou as workloads em cada Região da AWS em vários clusters Kubernetes, que podiam ser gerenciados de forma independente, com mais clusters Kubernetes sendo adicionados para escalabilidade. “Se um cluster do Kubernetes falha, o impacto é restrito apenas às workloads nesse cluster”, afirma Cohen. “São algumas centenas de workloads de clientes, em comparação com milhares de workloads quando toda a região é operada como uma única unidade.” Isso ajudou a Elastic a minimizar o impacto das questões operacionais e simplificar a escalabilidade.

O projeto levou um ano para ser concluído e é um dos maiores que a Elastic já empreendeu desde sua fundação. “Reestruturamos tudo: a plataforma em nuvem, o produto principal Elasticsearch, os modelos operacionais e de preços e os serviços relacionados ao Elasticsearch”, afirma Cohen. “O fato de termos entrado em operação em um ano, em grande escala, é algo impressionante para mim.”

Ao usar a AWS, a Elastic pôde se concentrar em desenvolver sua oferta sem se preocupar com a infraestrutura subjacente. “Podemos inovar e gerar valor comercial sem distrações operacionais e, dada a maturidade e a vasta capacidade, raramente encontramos problemas de capacidade ou confiabilidade”, afirma Cohen. “Fomos capazes de desenvolver nossos serviços na AWS com muita tranquilidade, sem nos preocuparmos com a flexibilidade, confiabilidade ou disponibilidade dos serviços da AWS.”

Em dezembro de 2024, o Elastic Cloud Serverless foi lançado para disponibilidade geral na Nuvem AWS. A Elastic colaborou estreitamente com a equipe da AWS para planejar a disponibilidade e a capacidade de implantação em muitas outras Regiões da AWS.

As soluções da Elastic, incluindo a nova oferta sem servidor, estão disponíveis no AWS Marketplace. A Elastic está comprometida em continuar usando o AWS Marketplace para suas ofertas, garantindo que seus clientes tenham uma plataforma confiável para descobrir, realizar a implantação e gerenciar softwares que são executados na AWS. “Temos um forte crescimento anual nas oportunidades que trazemos e lançamos em conjunto com a AWS”, afirma Alyssa Fitzpatrick, vice-presidente global de vendas para parceiros da Elastic.

A Elastic está ansiosa para que os clientes utilizem sua oferta sem servidor. “Os usuários, especialmente aqueles que atuam nas áreas de pesquisa, observabilidade, segurança ou desenvolvimento de aplicações de IA generativa, bem como serviços de monitoramento e infraestrutura, descobrirão que, com a tecnologia sem servidor, tudo fica muito mais fácil”, afirma Cohen.