Einführung von Amazon-EMR-Serverless-Streaming-Jobs für die kontinuierliche Verarbeitung von Streaming-Daten
Amazon EMR Serverless ist eine Serverless-Option in Amazon EMR, die es Data Engineers und Datenwissenschaftlern einfach macht, Open-Source-Big-Data-Analytik-Frameworks auszuführen, ohne Cluster oder Server konfigurieren, verwalten und skalieren zu müssen. Wir freuen uns, Ihnen einen neuen Streaming-Jobmodus auf Amazon EMR Serverless vorstellen zu können, mit dem Sie Streaming-Daten kontinuierlich analysieren und verarbeiten können.
Streaming ist für Unternehmen unverzichtbar geworden, um kontinuierliche Erkenntnisse aus Datenquellen wie Sensoren, IoT-Geräten und Web-Protokollen zu gewinnen. Die Verarbeitung von Streaming-Daten kann jedoch aufgrund von Anforderungen wie hoher Verfügbarkeit, Ausfallsicherheit und Integration mit Streaming-Diensten eine Herausforderung darstellen. Amazon-EMR-Serverless-Streaming-Jobs verfügt über integrierte Features, um diese Herausforderungen zu bewältigen. Es bietet hohe Verfügbarkeit durch Multi-AZ-Resilienz (Availability Zone), indem automatisch ein Failover auf fehlerfreie AZs erfolgt. Es bietet auch eine erhöhte Stabilität durch automatische Auftragswiederholungen bei Fehlern und Protokollverwaltungsfunktionen wie Protokollrotation und -komprimierung, wodurch die Anhäufung von Protokolldateien verhindert wird, die zu Jobfehlern führen könnten. Darüber hinaus unterstützen Amazon EMR Serverless Streaming-Jobs die Verarbeitung von Daten aus Streaming-Diensten wie selbstverwalteten Apache Kafka-Clustern, Amazon Managed Streaming für Apache Kafka und sind jetzt mithilfe eines neuen integrierten Amazon Kinesis Data Streams Connector in Amazon Kinesis Data Streams integriert, was den Aufbau von End-to-End-Streaming-Pipelines vereinfacht.
Amazon-EMR-Serverless-Streaming-Jobs sind ab EMR-Release-Version 7.1.0 und höher in den folgenden AWS-Regionen allgemein verfügbar: USA Ost (Nord-Virginia, Ohio), USA West (Oregon), Europa (Stockholm, Paris, Frankfurt, Irland, London), Südamerika (São Paulo) und Asien-Pazifik (Tokio, Seoul, Singapur, Mumbai, Sydney). Informationen zu den ersten Schritten finden Sie auf der Seite zu Amazon-EMR-Serverless-Streaming-Jobs im Benutzerhandbuch zu Amazon EMR Serverless.