Guru crée de nouvelles opportunités commerciales grâce à Amazon OpenSearch Service

Guru Technologies (Guru), une start-up qui fournit des logiciels de gestion des connaissances, permet aux entreprises d'accéder facilement à leurs informations internes à tout moment, quel que soit l'endroit où elles sont stockées. Des résultats de recherche rapides et pertinents ont toujours été essentiels pour Guru et sa clientèle, qui comprend des entreprises telles que Slack, Noom, Nubank, Zoom Video Communications, Shopify et Spotify. Cependant, à mesure que Guru connaissait une croissance importante – notamment une augmentation significative du nombre d'utilisateurs actifs mensuels d'une année sur l'autre – la société a constaté que sa solution Elasticsearch autogérée n'offrait pas la capacité de mise à l'échelle, la vitesse ou la fiabilité dont elle avait besoin pour continuer à innover à grande échelle. 

Ayant utilisé Amazon Web Services (AWS) depuis sa création en 2014, Guru s'est à nouveau tournée vers AWS pour une solution. Amazon OpenSearch Service est un service géré qui vous permet d'effectuer facilement des analyses de journaux interactifs, de surveiller des applications en temps réel, de rechercher du contenu sur site web, etc.

Cherchant à mettre en œuvre une solution basée sur le cloud, Guru a construit son infrastructure technologique sur AWS dès le début. L'entreprise savait que le cloud pouvait répondre à ses besoins en matière de stockage, de mise à l'échelle et d'élasticité, alors que l'exploitation de son infrastructure dans un centre de colocalisation nécessitait des efforts considérables en matière de gestion et d'expansion des capacités. « Lorsque nous avons démarré sur AWS, l'objectif était de disposer d'une infrastructure en tant que code, afin de pouvoir faire tourner nos environnements automatiquement », explique Mitchell Stewart, directeur technique et cofondateur de Guru.

L'entreprise a d'abord utilisé AWS CloudFormation, qui offre un moyen simple de modéliser une collection de ressources AWS et tierces, de les allouer rapidement et de manière cohérente, et de les gérer tout au long de leur cycle de vie grâce au traitement de l'infrastructure en tant que code (Infrastructure as Code). Guru a également fait appel à Amazon Elastic Block Store (Amazon EBS), un service de stockage par blocs simple d'utilisation et très performant, conçu pour être utilisé sur Amazon Elastic Compute Cloud (Amazon EC2) pour les charges de travail à débit et à transactions intensifs, quelle que soit l'échelle. « Nous avons commencé par une architecture très simple », explique Stewart. « Depuis lors, nous avons continué à adopter tous ces éléments de technologie qu'AWS a publiés au cours des 7 dernières années. Notre architecture est devenue beaucoup plus complexe, mais le principe reste le même : AWS continue d'offrir des services entièrement gérés, en résolvant un certain nombre de problèmes de mise à l'échelle élastique et dynamique afin que nous n'ayons pas à les résoudre nous-mêmes. »

Pour Guru, l'un de ces problèmes de mise à l'échelle concernait Elasticsearch. L'entreprise a d'abord hébergé son propre cluster Elasticsearch, en utilisant Amazon EC2 pour le calcul. « Elasticsearch est une partie centrale de notre produit », déclare Stewart. « Nous y avons consacré beaucoup de ressources et d'attention car nous cherchons activement à améliorer toutes les performances de recherche en fournissant une faible latence et des résultats de recherche pertinents à nos utilisateurs. » La décision de migrer vers Amazon OpenSearch Service était basée sur les ressources. « Nous nous sommes posé la question suivante : 'voulons-nous avoir des employés dédiés qui s'inquiètent de notre propre cluster Elasticsearch ?', ajoute Stewart, « 'ou préférons-nous qu'un service Elasticsearch assure une gestion experte ?' »

Guru a commencé sa migration vers Amazon OpenSearch Service à l'été 2020 et l'a terminée quelques mois plus tard. En peu de temps, l'entreprise a tiré plusieurs avantages de cette migration. L'entreprise a par exemple pu utiliser Amazon EMR – un service cloud de big data, leader sur le marché en matière de traitement de grandes quantités de données à l'aide d'outils open-source – pour développer un référentiel d'expérimentation visant à améliorer la pertinence des résultats de son moteur de recherche. Les utilisateurs pourraient ainsi trouver plus rapidement les informations qu'ils recherchent.

Grâce à ce référentiel, Guru peut exécuter de nombreux tests rapides et utiles. Par exemple, l'entreprise peut créer un nouveau cluster Elasticsearch avec les changements d'algorithme proposés et déterminer si la pertinence des résultats de recherche du nouveau cluster est meilleure ou pire que celle du cluster de production original. Guru a pu mesurer et comparer la pertinence des résultats de recherche en partie parce qu'Amazon OpenSearch Service permet à l'entreprise d'enregistrer les requêtes de recherche en temps réel. « Si nous n'avions pas [Amazon OpenSearch Service], Amazon EMR et tous ces outils facilement accessibles pour expérimenter des itérations d'algorithmes, nous n'aurions pas eu la largeur de bande passante nécessaire pour même envisager de le faire », déclare Stewart.

Les expériences que Guru avait tentées auparavant prenaient des semaines ou des mois. Toutefois, après la migration vers l'environnement AWS, l'entreprise a pu réaliser des expériences en quelques heures, voire quelques minutes. « Auparavant, chaque fois que nous devions réaliser une expérience, une ressource DevOps passait 5 à 6 heures à la mettre à l'échelle pour que nous puissions effectivement réaliser l'expérience », explique Nabin Mulepati, ingénieur principal en machine learning chez Guru. « Désormais, il suffit de dire 'Donnez-moi 30 nœuds' pour disposer en une heure d'un cluster prêt à réaliser des expériences. Une fois que nous avons terminé, nous pouvons le réduire afin de ne pas encourir de coûts inutiles. »

D'automne 2020 – date d'achèvement de sa migration – à début 2021, Guru a mené des expériences consistant à relancer près d'un demi-milliard de requêtes. À la suite de ces expériences, la société a constaté une amélioration de 10 % des performances de recherche.

Même lorsque Guru ne mène pas activement d'expériences, l'environnement géré d'Amazon OpenSearch Service simplifie grandement les mises à niveau pour l'entreprise. « Par le passé, nous ne pouvions pas tirer parti des nouvelles fonctions d'Elasticsearch, ce qui nous empêchait de résoudre les problèmes de nos clients », explique Jeff Plater, ingénieur principal chez Guru. « Maintenant que nous avons migré vers [Amazon OpenSearch Service], nous pouvons rester à jour et bénéficier de ces fonctions. À terme, nous pourrons ainsi améliorer plus rapidement le service de recherche pour nos utilisateurs. » Avec jusqu'à un million de requêtes de recherche par jour, Guru ne peut pas ralentir.

En passant des clusters Elasticsearch autogérés à Amazon OpenSearch Service, Guru a pu consacrer plus de temps à l'expérimentation et à l'innovation. Avec ce référentiel en place, Guru dispose d'une voie évolutive pour expérimenter le machine learning et le deep learning, y compris la mise en œuvre de l'algorithme des k plus proches voisins et l'apprentissage du classement. L'entreprise prévoit également de commencer à utiliser Amazon SageMaker, qui aide les scientifiques des données et les développeurs à préparer, créer, entraîner et déployer rapidement des modèles de machine learning de haute qualité en rassemblant un large éventail de fonctionnalités spécialement conçues à cet effet.

En tant que start-up cherchant à se développer rapidement tout en lançant de nouvelles fonctions, Guru a découvert qu'AWS pouvait fournir la fiabilité, la capacité de mise à l'échelle et l'élasticité dont l'entreprise avait besoin pour continuer à innover. « Une des qualités d'AWS est qu'il s'agit d'un système en libre-service : vous pouvez évoluer aussi vite que vous le souhaitez dans l'environnement lui-même », déclare Steve Mayernick, directeur du marketing produit chez Guru. « Vous pouvez vous lancer très rapidement, utiliser tous les systèmes nécessaires à votre start-up, et ensuite simplement itérer sans cesse. Vous pouvez tout créer sans avoir besoin d'une autorisation pour vous engager avec un fournisseur tiers qui pourrait vous ralentir. »