Amazon-MSK-Kunden

Kafka ist seit mehreren Jahren ein zentraler Bestandteil unserer Engineering Analytics Platform bei Arm, sowohl vor Ort als auch in der Cloud. Seit der ersten Inbetriebnahme haben wir es auf der Arm-Architektur ausgeführt. Um die Zuverlässigkeit zu verbessern und den Verwaltungsaufwand zu reduzieren, wollten wir jedoch Amazon Managed Streaming für Apache Kafka (MSK) verwenden.

Mit der Erweiterung von MSK zur Unterstützung von Graviton 3 sind wir in der Lage, unseren Analysedienst wieder auf einen vollständig ARM-basierten Stack umzustellen, der eine höhere Leistung zu niedrigeren Kosten bietet und gleichzeitig den CO2-Fußabdruck unserer Abläufe reduziert.

Amazon MSK ermöglichte es uns, nahtlos zu skalieren und gleichzeitig von der Zuverlässigkeit und Sicherheit auf Unternehmensebene zu profitieren. Durch die Auslagerung des Kafka-Managements an AWS konnten wir uns auf unser Kerngeschäft konzentrieren und schneller innovieren.

Es hat früher 10 Stunden gedauert, unsere Metadatenspeicher zu synchronisieren. Aber jetzt, mit Amazon MSK, dauert dieser Vorgang 30 Minuten.

Bei der Migration weg von unserem Rechenzentrum und hin zu AWS benötigten wir eine Möglichkeit, unsere geschäftskritischen Investitionen in Kafka beizubehalten und gleichzeitig den Overhead für den Betrieb von Kafka selbst deutlich zu reduzieren. Dies führte uns zu MSK. Wir haben einen beträchtlichen Teil der Infrastruktur und des Kafka-Software-Managements auf MSK-Cluster verlagert, die so skaliert sind, dass sie im Durchschnitt mehr als 40 GB/Sek. an Daten aufnehmen können. Beispielsweise müssen wir uns nicht mehr um Hard- und Software kümmern, um unsere Cluster auf dem neuesten Stand zu halten. Dadurch können wir mehr unserer Ressourcen in die Entwicklung von Services rund um Kafka für unsere Kundenteams investieren, was wir am besten können. Durch die Übernahme von MSK können wir uns auf unsere Kernkompetenzen konzentrieren und so schneller und häufiger bessere Produkte auf den Markt bringen.

Seit der Einführung von Amazon MSK konnten wir die Effizienz unserer Teams deutlich steigern und den Zeitaufwand für die Verwaltung unserer Cluster verringern. Unsere Datenanforderungen und Anwendungsfälle wuchsen und wir begannen, deutlichen Mehraufwand und erhebliche Komplexität bei der Verwaltung unserer Kafka-Cluster zu verzeichnen. Mithilfe von Amazon MSK konnten wir unsere Cluster ohne Risiko verwalten und mussten weniger Zeit für die Leistungsprüfung der Cluster aufwenden. Eine Skalierung nach Bedarf war möglich und wir konnten uns mehr auf das Schaffen von Innovationen und das Entwickeln von Echtzeitanwendungen konzentrieren.

Mit Amazon Managed Streaming für Apache Kafka (Amazon MSK) war die Einrichtung, Verwaltung und Skalierung von Kafka-Clustern einfach und es wurde eine Pipeline der durchgängige Aufnahme ermöglicht, die von einem vollständig verwalteten Service unterstützt wurde. Unsere Anforderungen steigen und wir sind zuversichtlich, dass wir eine Skalierung nach Bedarf vornehmen können und unsere Streaming-Aufnahme-Pipelines für die Datenanreicherung und das Echtzeit-Machine-Learning erweitern können. So können wir unseren Kunden ein verbessertes Erlebnis bieten.

Durch die Nutzung von Amazon MSK hat Vonage unseren Verwaltungsmehraufwand verringert und eine auf Microservices basierende Plattform erstellt, die es Unternehmen ermöglicht, produktiver zu arbeiten und eine bessere Kundenbindung zu erzielen. Wir können jetzt neue Kafka-Cluster schneller einrichten und diese Cluster bei steigenden Anforderungen nach Bedarf skalieren. Mit Amazon MSK entfiel die Komplexität bei der Einrichtung und Verwaltung. Somit konnten wir uns auf das Wichtigste konzentrieren: die Entwicklung innovativer, neuer Funktionen für unsere Kunden.

Für die Entwicklung und Einführung seiner Sicherheitsanalyseanwendung hat sich Secureworks für den Amazon-MSK-Service entschieden, um die Markteinführung zu beschleunigen und den Mehraufwand für die Infrastrukturverwaltung zu verringern. So konnten wir uns auf das Schaffen von Innovationen und auf unsere Wettbewerbsvorteile konzentrieren. Das hat uns dabei geholfen, unsere Kunden vor Cyberbedrohungen zu schützen.

Streaming-Technologie ist ein wichtiger Teil unserer Arbeit als Unternehmen, aber die Verwaltung von Streaming-Technologien erfordert Höchstleistungen von unseren Softwareentwicklern. Dank Amazon MSK konnten wir einen Großteil dieses Aufwands verringern, denn die Arbeit, Datenbeständigkeit, Clusterverfügbarkeit und -skalierbarkeit sicherzustellen, übernimmt nun Amazon MSK für uns. So können wir uns jetzt auf die Entwicklung von Anwendungen konzentrieren. Amazon MSK nimmt unserem Team den Aufwand des Betriebs und der Verwaltung von Kafka ab und während unsere Cluster vollständig verwaltet werden, verzeichnen wir gleichzeitig einen Rückgang der Ausfallzeiten.

Bei ZipRecruiter nutzen wir Apache Kafka für unsere Ereignisprotokollierungs-Pipelines. Diese sind wichtige Infrastrukturkomponenten, die täglich über 6 Milliarden Ereignisse von der ZipRecruiter-Stellenbörse erfassen, speichern und kontinuierlich verarbeiten. Wir sind zu Amazon Managed Streaming for Apache Kafka (Amazon MSK) gewechselt, um die Verwaltung, Ausführung und Wartung dieser wichtigen Infrastruktur zu vereinfachen. Dank Amazon MSK konnte unser Management- und Verwaltungsaufwand für Apache Kafka erheblich reduziert werden. Unsere Entwickler, die Apache Kafka regelmäßig verwalten mussten, können sich jetzt stärker auf Produktinnovationen konzentrieren, mit denen sowohl Jobsuchende als auch Personalverantwortliche immer einfacher die perfekte Person oder die perfekte Stelle finden.

Delhivery nutzt Apache Kafka als wichtige Komponente für seine Pipeline zur Erfassung, Speicherung und zum logischen Austauschen von Metadaten aus First-, Mid-, und Last-Mile-Vorgängen. Bei der Skalierung unserer Logistikprozesse war die Bewältigung der Infrastrukturkomplexität innerhalb unserer Apache-Kafka-Cluster sehr aufwendig. Dank Amazon MSK konnten wir nicht nur Infrastrukturmehraufwand auslagern, sondern auch auf sicherere und zuverlässigere Art und Weise einen hohen Durchsatz sowie eine hohe Leistung in Bezug auf unsere geschäftskritischen Metadaten-Pipelines beibehalten.

Vortexa nutzt Apache Kafka, um Machine-Learning-Modelle nach Maß für neue und historische Datenströme einzusetzen und um Echtzeitmarktprognosen über die Analyseplattform umgehend seinen Kunden zur Verfügung zu stellen. Amazon MSK war die entscheidende Technologie für Vortexa und in Verbindung mit Lenses.io konnten wir unsere erheblichen Anstrengungen zur Wartung und Stabilisierung einer komplexen und fragilen Apache-Kafka-Infrastruktur verlagern und uns mehr auf die Qualität unserer Analysen und Markterkenntnisse fokussieren. Diese haben einen direkten Einfluss auf den Mehrwert, den wir unseren Kunden bieten. Wir können jetzt unsere Anwendungen sicher und regelmäßig in großem Umfang aktualisieren, komplexe Kafka-Stream-Topologien einfach ausführen und Anwendungen statt Infrastruktur debuggen. Unser Umsatz und Marktanteil werden direkt beeinflusst von der Geschwindigkeit, mit der wir genaue Daten für den Markt bereitstellen und Amazon MSK ist ein wichtiger Wegbereiter dafür.

Wir verwenden verschiedene AWS-Services, um große Datenmengen für Live-Sport zu streamen und zu verarbeiten. Daher sind viele Teile unserer Infrastruktur an Spieltagen sehr stark ausgelastet und an anderen Tagen gar nicht ausgelastet. Vor der Serverless-Verwendung von Amazon Managed Streaming für Apache Kafka (Amazon MSK) waren die beweglichen Teile und der betriebliche Aufwand, die für eine effiziente Hochskalierung an Spieltagen erforderlich waren, eine große Belastung, und die Kapazität war oft zu hoch bereitgestellt. Amazon MSK Serverless hat uns geholfen, Skalierungsprobleme auf Amazon auszulagern, sodass wir unsere Entwicklungszeit woanders verbringen können. Wir haben sofort damit begonnen, Zehntausende von Dollar bei unserer monatlichen AWS-Rechnung einzusparen, und konnten unsere wertvolle Entwicklungszeit von der Kapazitätsplanung und der Optimierung der Skalierungsmechanismen auf andere Aufgaben umverteilen.