Veröffentlicht am: Nov 28, 2022
Wir freuen uns, die Einführung von AWS Glue Version 4.0 ankündigen zu können, einer neuen Version von AWS Glue, die Datenintegrationsarbeitslasten in AWS beschleunigt. AWS Glue 4.0 aktualisiert die Spark-Engines auf Apache Spark 3.3.0 und Python 3.10. Mit Glue 4.0 erhalten Kunden die neuesten Spark- und Python-Versionen, damit sie ihre Datenintegrations-Workloads entwickeln, ausführen und skalieren können und schneller Erkenntnisse erhalten.
AWS Glue ist ein skalierbarer Serverless-Datenintegrationsservice, der zum vereinfachten Erkennen, Aufbereiten, Verschieben und Integrieren von Daten aus verschiedenen Quellen verwendet wird. AWS Glue 4.0 bietet nun Unterstützung für integrierte Pandas-APIs sowie für die Formate Apache Hudi, Apache Iceberg und Delta Lake, sodass Sie mehr Möglichkeiten für die Analyse und Speicherung Ihrer Daten haben. Außerdem wurden die Konnektoren für native AWS Glue-Datenbankquellen wie RDS, MySQL und SQLServer aktualisiert, was die Verbindungen zu gängigen Datenbankquellen vereinfacht. AWS Glue 4.0 bietet außerdem native Unterstützung für das neue Cloud Shuffle Storage Plugin für Apache Spark, mit dem Kunden ihre Festplattennutzung während der Laufzeit skalieren können. Es ermöglicht die adaptive Abfrageausführung, die Ihre Abfragen während der Ausführung dynamisch optimiert. Schließlich verbessert AWS Glue 4.0 die Erfahrung für Entwickler, indem es Fehlermeldungen mehr Kontext hinzufügt. Wie bei AWS Glue 3.0 zahlen Kunden nur für die Ressourcen, die sie nutzen.
AWS Glue 4.0 ist ab heute allgemein in allen AWS-Regionen verfügbar, in denen AWS Glue verfügbar ist, mit Ausnahme der Regionen China und AWS GovCloud (USA).
Weitere Informationen finden Sie in unserer Dokumentation.