Comment Elastic a créé une solution sans serveur pour la recherche, l’observabilité et la sécurité avec AWS

Fondée en 2012, la société Elastic est connue pour son moteur de recherche et d’analytique distribué, Elasticsearch. En 2015, l’entreprise a ajouté une offre cloud à son offre sur site, appelée Elastic Cloud. L’offre cloud a été initialement développée sur AWS, avant d’être mise à disposition sur tous les clouds publics.

Dans le cadre de son expansion vers les solutions d’IA générative, Elastic a développé Search AI Lake, une architecture optimisée pour le cloud qui offre de vastes capacités de stockage et de recherche via Elasticsearch pour des requêtes à faible latence sur de grands volumes de données.

En 2022, la société a commencé à développer Elastic Cloud Serverless sur Search AI Lake. Cette solution allège la charge administrative liée à la gestion de la capacité, du dimensionnement et des mises à niveau, permettant ainsi aux clients d’utiliser plus facilement les fonctionnalités des solutions pour l’IA générative et d’autres applications. Elastic a utilisé AWS pour créer cette offre sans serveur. « AWS est l’environnement cloud le plus utilisé au monde, et une grande partie de nos clients utilisent AWS », explique Uri Cohen, vice-président de la gestion des produits pour l’ingénierie des plateformes chez Elastic.

Elastic utilise une architecture sans état pour atteindre la gérabilité, la capacité de mise à l’échelle et l’efficacité d’Elastic Cloud Serverless. L’équipe a conçu la solution pour s’assurer que les clients n’étaient pas confrontés à des problèmes opérationnels et que le système serait adapté aux charges de travail des clients, utilisant des services comme Amazon Elastic Compute Cloud (Amazon EC2), qui fournit une capacité de calcul sécurisée et redimensionnable pour pratiquement toutes les charges de travail. Pour encore plus d’optimisation, Elastic utilise les processeurs AWS Graviton, une famille de processeurs conçue pour offrir le meilleur rapport prix/performances pour les charges de travail cloud exécutées sur Amazon EC2, avec des disques SSD NVMe connectés localement. « Les performances que nous tirons de ces disques NVMe au prix que nous payons dans le cadre de notre offre cloud existante sont inégalées. Il était donc tout naturel pour nous d’utiliser également les instances AWS Graviton pour notre offre sans serveur », déclare Uri Cohen. Elastic peut stocker des centaines de pétaoctets de données sur les disques tout en gérant des dizaines de milliers d’instances de calcul par jour.

Pour aider les clients à stocker d’énormes quantités de données à très faible coût, Elastic Cloud Serverless utilise Amazon Simple Storage Service (Amazon S3), un service de stockage d’objets, comme système d’enregistrement des données client. L’entreprise utilise Amazon S3 pour stocker et récupérer de grandes quantités de données avec une disponibilité et une durabilité élevées. « Grâce à notre nouvelle architecture Search AI Lake, nous donnons à nos clients la possibilité de stocker d’énormes quantités de données, comme un lac de données, mais avec des recherches interactives », explique Uri Cohen. « La nouvelle architecture prend en charge toutes les fonctionnalités incroyables que vous pouvez réaliser avec Elasticsearch en effectuant des recherches dans de grandes quantités de données avec des réponses immédiates. »

En outre, Elastic utilise Amazon Elastic Kubernetes Service (Amazon EKS), la solution la plus fiable pour démarrer, exécuter et mettre à l’échelle Kubernetes, comme substrat pour tous ses services. Elastic utilise également ses propres solutions d’observabilité et de sécurité pour surveiller et sécuriser l’offre sans serveur.

En octobre 2023, Elastic a publié une version préliminaire privée d’Elastic Cloud Serverless. En avril 2024, la version préliminaire publique de l’offre a été publiée dans quatre régions AWS, et plus de 1 000 clients l’ont testée et ont partagé leurs commentaires. Au cours de la période de la version préliminaire, SAP Concur a souligné la simplicité d’utilisation de la solution et ses impressionnantes capacités d’autoscaling. Two Six Technologies a également fait l’éloge de la simplicité du processus de configuration, soulignant pouvoir provisionner de nouveaux projets sans expertise technique ; la société a noté une latence quasi nulle lors de l’ingestion et de l’interrogation des données.

Elastic a découvert que 20 % de ses charges de travail dans l’offre cloud actuelle se trouvaient dans une seule région AWS. Pour s’assurer que sa nouvelle solution sans serveur aurait une capacité de mise à l’échelle suffisante, la société a planifié sa capacité opérationnelle dans les régions AWS en conséquence. Elle a également compartimenté les charges de travail de chaque région AWS en plusieurs clusters Kubernetes, qui pouvaient être gérés indépendamment, et d’autres clusters Kubernetes ont été ajoutés à des fins de capacité de mise à l’échelle. « Si un cluster Kubernetes tombe en panne, l’impact se limite uniquement aux charges de travail de ce cluster », explique Uri Cohen. « Cela représente quelques centaines de charges de travail pour les clients, contre des milliers lorsque l’ensemble de la région est géré comme une seule unité. » Cela a permis à Elastic de minimiser l’impact des problèmes opérationnels et de simplifier la mise à l’échelle.

Il a fallu un an pour mener à bien ce projet, l’un des plus importants entrepris par Elastic depuis sa création. « Nous avons tout repensé : la plateforme cloud, le produit Elasticsearch de base, les modèles opérationnels et tarifaires, ainsi que les services liés à Elasticsearch », explique Uri Cohen. « Le fait que nous ayons réalisé la mise en service en un an à une telle échelle est époustouflant pour moi. »

En utilisant AWS, Elastic a pu se concentrer sur le développement de son offre sans se soucier de l’infrastructure sous-jacente. « Nous pouvons innover et générer de la valeur commerciale sans distractions opérationnelles, et compte tenu de la maturité et de l’étendue de nos capacités, nous rencontrons rarement des problèmes de capacité ou de fiabilité », déclare Uri Cohen. « Nous avons pu développer nos services sur AWS en toute sérénité, sans nous soucier de la flexibilité, de la fiabilité ou de la disponibilité des services AWS. »

Depuis décembre 2024, Elastic Cloud Serverless est en disponibilité générale sur AWS. Elastic a collaboré étroitement avec l’équipe AWS pour planifier la disponibilité et la capacité de déploiement dans de nombreuses autres régions AWS.

Les solutions d’Elastic, y compris la nouvelle offre sans serveur, sont disponibles sur AWS Marketplace. Elastic s’engage à continuer à utiliser AWS Marketplace pour ses offres, afin de garantir à ses clients une plateforme fiable pour découvrir, déployer et gérer les logiciels qui s’exécutent sur AWS. « Chaque année, nous enregistrons une forte croissance des opportunités que nous proposons à AWS et lançons à ses côtés », déclare Alyssa Fitzpatrick, vice-présidente mondiale des ventes aux partenaires chez Elastic.

Elastic attend avec impatience de voir ses clients utiliser son offre sans serveur. « Les utilisateurs, en particulier s’ils travaillent dans les domaines de la recherche, de l’observabilité, de la sécurité ou de la création d’applications basées sur l’IA générative, ainsi que des services et infrastructures de surveillance, constateront qu’avec les solutions sans serveur, tout est beaucoup plus facile », explique Uri Cohen.