So hat Elastic mithilfe von AWS eine Serverless-Lösung für Suche, Beobachtbarkeit und Sicherheit entwickelt

Elastic wurde 2012 gegründet und ist für seine verteilte Such- und Analytik-Engine, Elasticsearch, bekannt. Im Jahr 2015 erweiterte das Unternehmen sein On-Premise-Angebot um ein Cloud-Angebot namens Elastic Cloud. Das Cloud-Angebot wurde ursprünglich mit AWS entwickelt, später jedoch für alle öffentlichen Clouds verfügbar gemacht.

Mit der Erweiterung des Angebots an generativen KI-Lösungen entwickelte Elastic den Search AI Lake – eine Cloud-optimierte Architektur, die über Elasticsearch umfangreiche Speicher- und Suchfunktionen für die Abfrage großer Datenmengen mit geringer Latenz bietet.

Im Jahr 2022 begann das Unternehmen mit der Entwicklung von Elastic Cloud Serverless auf Search AI Lake. Dadurch entfällt der Verwaltungsaufwand für die Verwaltung von Kapazitäten, Dimensionierungen und Upgrades, sodass Kunden die Funktionen der Lösungen für generative KI und andere Anwendungen einfacher nutzen können. Elastic nutzt AWS, um dieses Serverless-Angebot zu entwickeln. „AWS ist die weltweit am häufigsten genutzte Cloud-Umgebung, und ein großer Teil unserer Kunden nutzt AWS“, sagt Uri Cohen, Vice President of Product Management für Platform Engineering bei Elastic.

Elastic verwendet eine zustandslose Architektur, um die Verwaltbarkeit, Skalierbarkeit und Effizienz von Elastic Cloud Serverless zu erreichen. Das Team entwickelte die Lösung so, dass Kunden keine betrieblichen Herausforderungen zu bewältigen hatten und das System sich automatisch an die Workloads der Kunden anpasste. Hierfür wurden Services wie Amazon Elastic Compute Cloud (Amazon EC2) verwendet, die sichere und skalierbare Rechenkapazität für nahezu jede Workload bieten. Für eine noch bessere Optimierung nutzt Elastic AWS-Graviton-Prozessoren – eine Prozessorfamilie, die für ein optimales Preis-Leistungs-Verhältnis bei Cloud-Workloads in Amazon EC2 mit lokal angeschlossenen NVMe-SSDs entwickelt wurde. „Die Leistung, die wir von diesen NVMe-Laufwerken für den Preis erhalten, den wir in unserem vorhandenen Cloud-Angebot dafür bezahlen, ist unübertroffen. Daher war es für uns selbstverständlich, AWS-Graviton-Instances auch für unser Serverless-Angebot einzusetzen“, erklärt Cohen. Elastic kann Hunderte von Petabyte an Daten auf den Laufwerken speichern und gleichzeitig täglich Zehntausende von Rechen-Instances verwalten.

Damit Kunden große Datenmengen zu sehr geringen Kosten speichern können, verwendet Elastic Cloud Serverless Amazon Simple Storage Service (Amazon S3) – einen Objektspeicher-Service – als zentrales System zur Speicherung der Kundendaten. Das Unternehmen nutzt Amazon S3, um große Datenmengen mit hoher Verfügbarkeit und Langlebigkeit zu speichern und abzurufen. „Mit unserer neuen Search AI Lake-Architektur bieten wir Kunden die Möglichkeit, riesige Datenmengen wie in einem Data Lake zu speichern, die jedoch interaktiv durchsuchbar sind“, erklärt Cohen. „Die neue Architektur unterstützt alle beeindruckenden Funktionen, die Elasticsearch bietet, indem sie riesige Datenmengen durchsucht und sofort Ergebnisse liefert.“

Darüber hinaus nutzt Elastic Amazon Elastic Kubernetes Service (Amazon EKS) – die bewährteste Methode zum Starten, Ausführen und Skalieren von Kubernetes – als Basissystem für alle seine Services. Elastic nutzt auch seine eigenen Lösungen für Beobachtbarkeit und Sicherheit, um das Serverless-Angebot zu überwachen und zu abzusichern.

Im Oktober 2023 veröffentlichte Elastic eine private Vorschau von Elastic Cloud Serverless. Im April 2024 wurde das Angebot in 4 AWS-Regionen als öffentliche Vorschau verfügbar gemacht, und über 1 000 Kunden haben es getestet und Feedback gegeben. Während der Vorschauphase betonte SAP Concur die einfache Bedienbarkeit und die beeindruckenden Auto-Scaling-Funktionen der Lösung. Two Six Technologies lobte auch den einfachen Einrichtungsprozess und stellte fest, dass neue Projekte ohne technisches Fachwissen bereitgestellt werden konnten. Das Unternehmen verzeichnete nahezu keine Latenz beim Einlesen und Abfragen von Daten.

Elastic stellte fest, dass 20 Prozent seiner Workloads im aktuellen Cloud-Angebot in einer AWS-Region lagen. Um sicherzustellen, dass die neue Serverless-Lösung ausreichende Skalierbarkeit bietet, wurde die Betriebskapazität entsprechend über alle AWS-Regionen verteilt. Zudem wurden die Workloads in jeder AWS-Region in mehrere Kubernetes-Cluster unterteilt, die unabhängig voneinander verwaltet werden konnten, wobei zur Skalierung weitere Kubernetes-Cluster hinzugefügt werden konnten. „Wenn ein Kubernetes-Cluster ausfällt, beschränkt sich die Auswirkung nur auf die Workloads in diesem Cluster“, erklärt Cohen. „Es handelt sich um einige Hundert Kunden-Workloads im Vergleich zu Tausenden von Workloads, wenn die gesamte Region als eine Einheit betrieben wird.“ Dies ermöglichte es Elastic, die Auswirkungen von Betriebsproblemen zu minimieren und die Skalierung zu vereinfachen.

Die Fertigstellung des Projekts dauerte 1 Jahr und es ist eines der größten Projekte, die Elastic seit seiner Gründung durchgeführt hat. „Wir haben alles neu konzipiert – die Cloud-Plattform, das Kernprodukt Elasticsearch, die Betriebs- und Preismodelle sowie die Services rund um Elasticsearch“, sagt Cohen. „Die Tatsache, dass wir innerhalb 1 Jahres in einem solchen Umfang startklar waren, ist für mich wirklich beeindruckend.“

Durch den Einsatz von AWS konnte sich Elastic auf die Entwicklung seines Angebots konzentrieren, ohne sich um die zugrunde liegende Infrastruktur kümmern zu müssen. „Wir können Innovationen vorantreiben und einen Mehrwert für das Unternehmen schaffen, ohne durch betriebliche Ablenkungen beeinträchtigt zu werden. Angesichts der Reife und der enormen Kapazitäten treten Probleme hinsichtlich Kapazität oder Zuverlässigkeit nur selten auf“, erklärt Cohen. „Wir konnten unsere Services problemlos in AWS entwickeln, ohne uns Gedanken über die Flexibilität, Zuverlässigkeit oder Verfügbarkeit der AWS-Services machen zu müssen.“

Im Dezember 2024 wurde Elastic Cloud Serverless für die allgemeine Verfügbarkeit in AWS veröffentlicht. Elastic arbeitete eng mit dem AWS-Team zusammen, um die Verfügbarkeit und Kapazität für die Bereitstellung in vielen weiteren AWS-Regionen zu planen.

Die Lösungen von Elastic, einschließlich des neuen Serverless-Angebots, sind im AWS Marketplace verfügbar. Elastic möchte AWS Marketplace weiterhin für seine Angebote nutzen, um seinen Kunden eine zuverlässige Plattform für die Suche, Bereitstellung und Verwaltung von Software zu bieten, die in AWS ausgeführt wird. „Wir verzeichnen jedes Jahr ein starkes Wachstum bei den Möglichkeiten, die wir gemeinsam mit AWS entwickeln und auf den Markt bringen“, erklärt Alyssa Fitzpatrick, Global Vice President für Partner Sales bei Elastic.

Elastic sieht der Nutzung seines Serverless-Angebots durch Kunden mit Interesse entgegen. „Anwender, die sich mit Suchfunktionen, Beobachtbarkeit, Sicherheit oder der Entwicklung generativer KI-Anwendungen sowie mit Überwachungsservices und Infrastruktur befassen, werden feststellen, dass mit Serverless alles wesentlich einfacher wird“, erklärt Cohen.