Guru erschließt neue Geschäftsmöglichkeiten mit Amazon OpenSearch Service

Guru Technologies (Guru), ein Startup-Unternehmen, das Software für das Wissensmanagement anbietet, macht es Unternehmen leicht, jederzeit auf ihre internen Informationen zuzugreifen, unabhängig davon, wo sie gespeichert sind. Schnelle, relevante Suchergebnisse waren für Guru und seinen Kundenstamm, zu dem Unternehmen wie Slack, Noom, Nubank, Zoom Video Communications, Shopify und Spotify gehören, schon immer entscheidend. Als Guru jedoch ein beträchtliches Wachstum verzeichnete – insbesondere ein beträchtliches jährliches Wachstum bei den monatlich aktiven Nutzern – stellte das Unternehmen fest, dass seine selbstverwaltete Elasticsearch-Lösung nicht die Skalierbarkeit, Geschwindigkeit oder Zuverlässigkeit aufwies, die das Unternehmen benötigte, um weiterhin Innovationen in großem Umfang zu entwickeln. 

Nachdem Guru seit seiner Gründung im Jahr 2014 Amazon Web Services (AWS) genutzt hatte, wandte sich Guru erneut an AWS, um eine Lösung zu finden. Amazon OpenSearch Service, ein verwalteter Service, der es Ihnen leicht macht, interaktive Protokollanalysen, Anwendungsüberwachung in Echtzeit, Website-Suche und mehr durchzuführen

Guru wollte eine Cloud-basierte Lösung implementieren und baute seine technische Infrastruktur von Anfang an in AWS auf. Das Unternehmen wusste, dass die Cloud seinen Bedarf an Speicherplatz, Skalierbarkeit und Elastizität erfüllen konnte, während der Betrieb der Infrastruktur in einem Colocation Center einen erheblichen Aufwand für die Verwaltung und Kapazitätserweiterung bedeuten würde. „Als wir mit AWS anfingen, war das Ziel, Infrastructure as Code zu haben, damit wir unsere Umgebungen automatisch aufsetzen können“, sagt Mitchell Stew

Das Unternehmen verwendete zunächst AWS CloudFormation, das eine einfache Möglichkeit bietet, eine Sammlung zusammengehöriger AWS- und Drittanbieter-Ressourcen zu modellieren, sie schnell und konsistent bereitzustellen und sie während ihres gesamten Lebenszyklus zu verwalten, indem die Infrastruktur als Code behandelt wird. Guru nutzte auch Amazon Elastic Block Store (Amazon EBS), einen einfach zu bedienenden, hochleistungsfähigen Blockspeicherdienst, der für die Nutzung auf Amazon Elastic Compute Cloud (Amazon EC2) für durchsatz- und transaktionsintensive Workloads in beliebigem Umfang entwickelt wurde. „Wir begannen mit einer sehr einfachen Architektur“, sagt Stewart. „Seitdem haben wir all diese Technologien, die AWS in den letzten 7 Jahren veröffentlicht hat, übernommen. Unsere Architektur ist viel komplexer geworden, aber das Prinzip ist dasselbe: AWS bietet weiterhin vollständig verwaltete Services an und löst eine Reihe von elastischen und dynamischen Skalierungsproblemen, damit wir sie nicht selbst lösen müssen.“

Bei Guru drehte sich ein solches Skalierungsproblem um Elasticsearch. Das Unternehmen hat anfangs seinen eigenen Elasticsearch-Cluster gehostet und Amazon EC2 für das Computing verwendet. „Elasticsearch ist ein Kernbestandteil unseres Produkts“, sagt Stewart. „Wir haben eine Menge Ressourcen und Aufmerksamkeit darauf verwendet, weil wir aktiv versuchen, die allgemeine Suchleistung zu verbessern, indem wir unseren Benutzern niedrige Latenzzeiten und relevante Suchergebnisse bieten.“ Die Entscheidung, zu Amazon OpenSearch Service zu migrieren, hatte ihren Ursprung in den Ressourcen. „Wir haben uns gefragt: 'Wollen wir engagierte Mitarbeiter haben, die sich um unseren eigenen Elasticsearch-Cluster kümmern?'“, fährt Stewart fort, „'oder wollen wir lieber einen Elasticsearch-Service, der die Verwaltung durch Experten übernimmt?'“

Guru begann seine Migration zu Amazon OpenSearch Service im Sommer 2020 und schloss sie einige Monate später ab. Schon nach kurzer Zeit konnte das Unternehmen mehrere Vorteile aus der Migration ziehen. Zum einen konnte das Unternehmen Amazon EMR – einen branchenführenden Cloud Big Data-Service für die Verarbeitung riesiger Datenmengen mit Open-Source-Tools – nutzen, um ein Experimentier-Framework zur Verbesserung der Relevanz der Suchergebnisse seiner Suchmaschine zu entwickeln. Dies würde den Benutzern helfen, die gesuchten Informationen schneller zu finden.

Mit diesem Framework kann Guru viele schnelle, nützliche Tests durchführen. So kann das Unternehmen beispielsweise einen neuen Elasticsearch-Cluster mit den vorgeschlagenen Algorithmusänderungen aufsetzen und feststellen, ob die Relevanz der Suchergebnisse des neuen Clusters besser oder schlechter ist als die des ursprünglichen Produktions-Clusters. Guru war in der Lage, die Relevanz von Suchergebnissen zu messen und zu vergleichen, unter anderem weil Amazon OpenSearch Service es dem Unternehmen ermöglicht, Suchanfragen in Echtzeit zu protokollieren. „Hätten wir [Amazon OpenSearch Service], Amazon EMR und all diese Tools nicht zur Verfügung, um mit Algorithmus-Iterationen zu experimentieren, hätten wir nicht die Bandbreite gehabt, dies überhaupt in Betracht zu ziehen“, so Stewart.

Die Experimente, die Guru zuvor gemacht hatte, dauerten Wochen oder Monate. Aber nach der Migration auf die AWS-Umgebung konnte das Unternehmen Experimente innerhalb von Stunden oder sogar Minuten durchführen. „Jedes Mal, wenn wir früher ein Experiment durchführen mussten, hat eine DevOps-Ressource 5–6 Stunden damit verbracht, es zu skalieren, damit wir das Experiment tatsächlich durchführen konnten“, sagt Nabin Mulepati, Principal Machine Learning Engineer bei Guru. „Jetzt können wir einfach sagen: 'Hey, gib mir 30 Knoten', und in einer Stunde haben wir einen Cluster, der bereit ist, Experimente durchzuführen. Und wenn wir fertig sind, können wir ihn verkleinern, damit uns keine unnötigen Kosten entstehen.“

Zwischen dem Abschluss der Migration im Herbst 2020 und Anfang 2021 hat Guru Experimente durchgeführt, bei denen fast eine halbe Milliarde Abfragen wiederholt wurden. Als Ergebnis dieser Experimente konnte das Unternehmen eine Verbesserung der Suchleistung um 10 Prozent verzeichnen.

Selbst wenn Guru nicht aktiv Experimente durchführt, macht die verwaltete Amazon OpenSearch-Service-Umgebung Upgrades für das Unternehmen viel einfacher. „In der Vergangenheit konnten wir die neuen Funktionen von Elasticsearch nicht nutzen, was bedeutete, dass wir nicht in der Lage waren, Probleme für unsere Kunden zu lösen“, sagt Jeff Plater, Principal Engineer bei Guru. „Jetzt, wo wir zu [Amazon OpenSearch Service] migriert sind, können wir auf dem Laufenden bleiben und diese Funktionen nutzen. Letztendlich werden wir dadurch in der Lage sein, den Suchdienst für unsere Benutzer schneller zu verbessern.“ Bei bis zu 1 Million Suchanfragen pro Tag kann es sich Guru nicht leisten, es langsamer anzugehen.

Durch die Migration von selbstverwalteten Elasticsearch-Clustern zu Amazon OpenSearch Service konnte Guru mehr Zeit auf Experimente und Innovationen verwenden. Mit diesem Rahmenwerk verfügt Guru über eine skalierbare Möglichkeit, um mit Machine Learning und Deep Learning zu experimentieren, einschließlich der Implementierung des k-nearest-neighbors-Algorithmus und des Learning to Rank. Das Unternehmen plant außerdem den Einsatz von Amazon SageMaker, einer Lösung, die Datenwissenschaftlern und Entwicklern dabei hilft, qualitativ hochwertige Modelle für Machine Learning schnell vorzubereiten, zu erstellen, zu trainieren und bereitzustellen, indem sie eine breite Palette von Funktionen zusammenführt, die speziell für Machine Learning entwickelt wurden.

Als Startup, das schnell wachsen und gleichzeitig neue Funktionen herausbringen wollte, fand Guru heraus, dass AWS die Zuverlässigkeit, Skalierbarkeit und Elastizität bieten konnte, die das Unternehmen brauchte, um weiterhin innovativ zu sein. „Das Tolle an AWS ist der Selfservice: Man kann in der Umgebung selbst so schnell arbeiten, wie man will“, sagt Steve Mayernick, Director of Product Marketing bei Guru. „Man kann sehr schnell einsteigen, alle Systeme nutzen, die für ein Startup notwendig sind, und dann einfach iterieren und iterieren und iterieren. Man kann alles erstellen, ohne die Erlaubnis eines Drittanbieters einholen zu müssen, der einen möglicherweise ausbremst.“