Veröffentlicht am: Jul 25, 2019
AWS Glue hat seine Apache Spark-Infrastruktur aktualisiert, um Apache Spark 2.4.3 (zusätzlich zu Apache Spark 2.2.1) für ETL-Aufgaben zu unterstützen. Auf diese Weise können Sie Stabilitätsverbesserungen und neue Funktionen nutzen, die mit dieser Apache Spark-Version verfügbar sind.
Sie können die Apache Spark-Infrastruktur wählen, mit der Ihre Glue-Aufgaben ausgeführt werden sollen, indem Sie in den Eigenschaften eine Glue-Version auswählen. Ihre bestehenden Glue ETL-Aufgaben, die erstellt wurden, ohne eine Glue-Version festzulegen, werden standardmäßig in Glue 0.9 ausgeführt. Glue-Aufgaben mit Glue-Version 1.0 werden in Apache Spark 2.4.3 ausgeführt. Zusätzlich zur neuesten Version von Spark können Sie für Ihre ETL-Aufgaben zwischen Python 2 und Python 3 wählen.
Weitere Informationen dazu, wie Sie von dieser Funktion profitieren können, finden Sie in unserer Dokumentation und unseren Anmerkungen zu Veröffentlichungen.
Diese Funktion wird nun in allen AWS-Regionen angeboten, in denen AWS Glue verfügbar ist, mit Ausnahme von AWS GovCloud (USA-Ost) und AWS GovCloud (USA-West).