Veröffentlicht am: Mar 7, 2023
AWS Glue unterstützt jetzt Streaming ETL in der Version 4.0, einer neuen Version von AWS Glue, die Datenintegrationsworkloads in AWS beschleunigt. AWS Glue 4.0 aktualisiert Datenintegrations-Engines, einschließlich eines Upgrades auf pache Spark 3.3.0 und auf Python 3.10.
AWS-Glue-Streaming-ETL-Aufträge konsumieren kontinuierlich Daten aus Streaming-Quellen, bereinigen und transformieren die Daten während der Übertragung und stellen sie in Sekundenschnelle für Analysen zur Verfügung. Diese Version enthält einen optimierten State-Management-Store, um effiziente Streaming-Lösungen für Mikrobatches zu entwickeln. Dadurch wird es einfacher, Duplikate in einem Stream zu entfernen und Stream-basierte Aggregationen durchzuführen. Sie können außerdem eine neue Spalte hinzufügen, in der angegeben wird, wann ein entsprechender Datensatz vom Stream empfangen wurde, um die Daten besser verfolgen zu können. Diese Version unterstützt auch die IAM-Authentifizierung für Amazon Managed Streaming für Apache Kafka Serverless.
AWS Glue 4.0 Streaming ETL ist jetzt in denselben AWS-Regionen wie AWS Glue verfügbar, mit Ausnahme von China und GovCloud.
Weitere Informationen finden Sie in unserer Dokumentation zu Streaming-ETL-Aufträgen.