Veröffentlicht am: Nov 28, 2022
AWS Glue für Apache Spark unterstützt jetzt drei Open Source Data Lake-Speicherframeworks: Apache Hudi, Apache Iceberg und Linux Foundation Delta Lake. Diese Frameworks ermöglichen das Lesen und Schreiben von Daten in Amazon Simple Storage Service (Amazon S3) auf transaktionskonsistente Weise. AWS Glue ist ein skalierbarer Serverless-Datenintegrationsservice, der zum vereinfachten Erkennen, Aufbereiten, Verschieben und Integrieren von Daten aus verschiedenen Quellen verwendet wird. Diese Funktion macht die Installation eines separaten Connectors überflüssig und reduziert die Konfigurationsschritte, die für die Verwendung dieser Frameworks in AWS Glue für Apache Spark-Aufträge erforderlich sind.
Diese Open-Source-Frameworks für Data Lakes vereinfachen die inkrementelle Datenverarbeitung in Data Lakes, die auf Amazon S3 basieren. Sie ermöglichen Funktionen wie Zeitreiseabfragen, ACID-Transaktionen (Atomicity, Consistency, Isolation, Durability), Streaming-Einspeisung, Change Data Capture (CDC), Upserts und Deletes.
Weitere Informationen finden Sie in unserer Dokumentation.
Diese Funktion ist in allen kommerziellen AWS-Regionen verfügbar, in denen AWS Glue angeboten wird.