Publicado en: Jan 16, 2020
AWS Glue ahora admite tres nuevas transformaciones: Purga, Transición, Fusión, que pueden ayudarlo a extender su lógica de extracción, transformación y carga (ETL) en las aplicaciones Apache Spark. Puede usar la transformación Purga para eliminar archivos, particiones o tablas, y refinar rápidamente sus conjuntos de datos en S3.
Puede usar la transformación Transición para migrar archivos, particiones o tablas para reducir las clases de almacenamiento S3. También puede usar las exclusiones de las clases de almacenamiento S3 de AWS Glue para excluir la lectura de archivos o particiones de clases de almacenamiento S3 específicas en sus trabajos de Glue ETL. Puede usar la transformación Fusión para combinar múltiples cuadros dinámicos de Glue que representan sus datos en fuentes S3, Redshift, Dynamo o JDBC basadas en claves primarias. Para obtener más información, visite la documentación de Purga, Transición y Fusión.
Esta característica está disponible en las mismas regiones que AWS Glue.