Veröffentlicht am: Jan 16, 2020
AWS Glue bietet jetzt Unterstützung für drei neue Transformationen, Löschen, Umstellen und Zusammenführen, mit denen Sie Ihre Extraktions-, Transformations- und Ladelogik (ETL) in Apache Spark-Anwendungen erweitern können. Mit der Transformation "Löschen" können Sie Dateien, Partitionen oder Tabellen löschen und Ihre Datensätze in S3 schnell filtern.
Die Transformation "Umstellen" können Sie nutzen, um Dateien, Partitionen oder Tabellen auf niedrigere S3-Speicherklassen zu migrieren. Mithilfe von AWS Glue S3-Speicherklassenausschlüssenkönnen Sie zudem das Lesen von Dateien oder Partitionen aus bestimmten S3-Speicherklassen in Ihren Glue ETL-Jobs ausschließen. Mithilfe der Transformation "Zusammenführen" können Sie mehrere dynamische Glue-Frames kombinieren, die Ihre Daten basierend auf Primärschlüsseln in S3-, Redshift-, Dynamo- oder JDBC-Quellen darstellen. Weitere Informationen finden Sie in der Dokumentation zu Löschen, Umstellenund Zusammenführen.
Diese Funktion ist in allen Regionen verfügbar, in denen AWS Glue angeboten wird.