Publié le: Jan 16, 2020
AWS Glue prend désormais en charge trois nouvelles transformations : Purge, Transition et Merge (fusion). Celles-ci vous aident à étendre votre logique d'extraction, de transformation et de chargement (ETL) dans les applications Apache Spark. La transformation Purge vous permet de supprimer des fichiers, des partitions ou des tables, et ainsi d'affiner rapidement vos ensembles de données sur S3.
Vous pouvez utiliser la transformation Purge en vue de réaliser une migration de vos fichiers, partitions ou tables vers des classes de stockage S3 inférieures. Vous pouvez également utiliser les exclusions des classes de stockage Amazon S3 dans AWS Glue afin d'exclure la lecture de fichiers ou partitions sur certaines classes de stockages S3 dans vos tâches ETL Glue. La transformation Merge vous permet de combiner plusieurs classes DynamicFrame Glue représentant vos données dans les sources S3, Redshift, Dynamo ou JDBC en fonction de clés primaires. Pour en savoir plus, consultez la documentation sur Purge, Transition et Merge.
Cette fonctionnalité est disponible dans toutes les régions où AWS Glue est disponible.