Einführung von AWS Glue 5.1
AWS Glue 5.1 ist jetzt allgemein verfügbar und bietet mehr Leistung, Sicherheitsupdates, erweiterte Apache Iceberg-Funktionen und AWS Lake Formation-Schreibunterstützung für Datenintegrations-Workloads.
AWS Glue ist ein skalierbarer Serverless-Datenintegrationsdienst, der das Auffinden, Vorbereiten, Verschieben und Integrieren von Daten aus mehreren Quellen vereinfacht. Diese Version aktualisiert die Core-Engines auf Apache Spark 3.5.6, Python 3.11 und Scala 2.12.18 und enthält Leistungs- sowie Sicherheitsverbesserungen. Außerdem wurde die Unterstützung der Bibliotheken für offene Tabellenformate aktualisiert, inklusive Apache Hudi 1.0.2, Apache Iceberg 1.10.0 und Delta Lake 3.3.2.
AWS Glue 5.1 unterstützt jetzt Version 3.0 des Apache Iceberg-Formats mit Standardspaltenwerten, Löschvektoren für Merge-on-Read-Tabellen, Transformationen mit mehreren Argumenten und Nachverfolgung der Zeilenherkunft. Diese Version erweitert auch die differenzierte Zugriffskontrolle von AWS Lake Formation auf Schreiboperationen (sowohl DML als auch DDL) für Spark DataFrames und Spark SQL. Bisher war diese Funktion auf Lesevorgänge beschränkt. AWS Glue 5.1 bietet außerdem eine vollständige Tabellen-Zugriffskontrolle in Apache Spark für Apache Hudi- und Delta-Lake-Tabellen und bietet so umfassendere Sicherheitsoptionen für Ihre Daten.
AWS Glue 5.1 ist verfügbar in den Regionen USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), Europa (Irland), Europa (Stockholm), Europa (Frankfurt), Europa (Spanien), Asien-Pazifik (Hongkong), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Asien-Pazifik (Malaysia), Asien-Pazifik (Thailand), Asien-Pazifik (Mumbai) und Südamerika (São Paulo). Weitere Informationen finden Sie in der AWS-Glue-Dokumentation.