Veröffentlicht am: Apr 27, 2020
AWS Glue unterstützt jetzt ETL-Streaming. Diese Funktion erleichtert es, fortlaufende Eingabe-Pipelines einzurichten, die Streaming-Daten im Handumdrehen aufbereiten und in Sekundenschnelle zur Auswertung bereitstellen. Das Streamen von ETL-Jobs in AWS Glue kann Daten aus Streaming-Quellen wie Amazon Kinesis und Apache Kafka verbrauchen, diese Datenströme im laufenden Betrieb bereinigen und transformieren und die Ergebnisse kontinuierlich in Amazon S3 Data Lakes, Data Warehouses und andere Datenspeicher laden. Kunden können diese Funktion nutzen, um Ereignisdaten wie IoT Event-Streams, Clickstreams und Netzwerkprotokolle zu verarbeiten. Das Streamen von ETL-Aufträgen in AWS Glue läuft auf der Apache Spark Structured Streaming-Engine. Kunden können sie somit verwenden, um Daten anzureichern, zu sammeln und zu kombinieren sowie eine Reihe komplexer Analysen und ML-Dienste auszuführen.
Zuvor mussten Sie die Streaming-Behandlung und Überwachungssysteme manuell aufbauen und verbinden, um Streaming-Daten-Pipelines für die Einspeisung aufzubauen. Das Streaming von ETL-Aufträgen in AWS Glue ermöglicht es der serverlosen Infrastruktur von AWS Glue, die Verwaltung von Ressourcen zu vereinfachen und Kosten zu optimieren. Außerdem können Sie Pipelines für die kontinuierliche Einspeisung einstellen, ohne Code schreiben zu müssen. Dies verkürzt die durchschnittliche Implementierungsdauer von Monaten auf Tage.
Diese Funktion ist jetzt in den gleichen AWS-Regionen erhältlich wie AWS Glue.
Weitere Informationen zu dieser Funktion finden Sie in unserer Dokumentation.