Veröffentlicht am: Apr 27, 2020
AWS Glue unterstützt jetzt das serverlose Streaming von ETL-Aufträgen. Diese Funktion vereinfacht die Einstellung von Pipelines für die kontinuierliche Einspeisung, die Daten wie IoT Ereignis-Streams, Clickstreams und Netzwerk-Protokolle vorbereiten, und machen sie innerhalb von Sekunden für die Analyse erhältlich. AWS Glue kann nun Daten aus Streaming-Quellen wie Amazon Kinesis und Apache Kafka verbrauchen, diese im laufenden Betrieb bereinigen und transformieren und die Ergebnisse kontinuierlich in Amazon S3 Data Lakes, Data Warehouses und andere Datenspeicher laden. AWS Glue, das ETL-Aufträge streamt, läuft auf der Apache Spark Structured Streaming-Engine. Kunden können sie somit verwenden, um Daten anzureichern, zu sammeln und zu kombinieren und sie können eine Reihe komplexer Analysen und ML-Dienste ausführen.
Zuvor mussten Sie die Streaming-Behandlung und Überwachungssysteme manuell aufbauen und zusammenknüpfen, um Streaming-Daten-Pipelines für die Einspeisung aufzubauen. Das Streaming von ETL-Aufträgen in AWS Glue ermöglicht es der serverlosen Infrastruktur von AWS Glue, die Verwaltung von Ressourcen zu vereinfachen, Kosten zu optimieren und Sie können Pipelines für die kontinuierliche Einspeisung einstellen, ohne Code schreiben zu müssen. Dies verkürzt die Implementierungsdauer von Monaten auf Tage.
Diese Funktion ist nun in den gleichen AWS-Regionen erhältlich wie AWS Glue.
Weitere Informationen zu dieser Funktion finden Sie in unserer Dokumentation.