Veröffentlicht am: Jun 28, 2022
AWS Glue Streaming ETL (Extract Transform and Load) kann jetzt komprimiertes Daten-Streaming von Amazon Kinesis, Amazon Managed Streaming für Apache Kafka (Amazon MSK) und selbstverwaltetem Apache Kafka erkennen. Es dekomprimiert diese Daten dann automatisch, ohne dass Kunden Code dafür schreiben müssen, und spart somit viele Entwicklungsstunden. Aufgaben von AWS Glue Streaming ETL konsumieren kontinuierlich Daten aus Streaming-Quellen, bereinigen und transformieren die Daten während der Übertragung und stellen sie in Sekundenschnelle für Analysen zur Verfügung. Kunden komprimieren Daten vor dem Streamen, um die Leistung zu verbessern und Drosselungsgrenzen von Amazon Kinesis und Amazon MSK zu umgehen. Vor dieser Funktion mussten Kunden benutzerdefinierte Funktionen schreiben, um Daten von einem Stream zu dekomprimieren, was sehr zeitaufwendig war.
Mit dieser neuen Funktion erkennt AWS Glue Streaming ETL automatisch, ob Daten in einem Stream komprimiert sind, und dekomprimiert diese Daten, ohne dass Kunden dafür Code schreiben müssen. AWS Glue Streaming ETL unterstützt automatische Dekomprimierung für die Komprimierungstypen BZIP, GZIP, SNAPPY, XZ, ZSTD und DEFLATE und wird unter anderem in den Datenformaten AVRO, JSON, CSV unterstützt. Weitere Informationen findest du in unserer Dokumentation.
Diese Funktion ist in allen AWS-Regionen verfügbar, in denen AWS Glue verfügbar ist.