Publié le: Oct 8, 2020
Les tâches d'extraction, de transformation et de chargement (ETL) en streaming dans AWS Glue peuvent, désormais, détecter automatiquement le schéma des enregistrements entrants et traiter correctement les changements de schéma par enregistrement. Auparavant, vous deviez spécifier le schéma des données entrantes à l'aide du catalogue de données AWS Glue et mettre à jour les scripts ETL pour gérer les changements de schéma. La tâche AWS Glue peut maintenant faire les deux automatiquement, en économisant du temps sur le retraitement du code et en augmentant la flexibilité de vos tâches ETL.
Les tâches ETL en streaming AWS Glue consomment en permanence des données provenant de sources de streaming, nettoient et transforment les données actives et les rendent disponibles pour l'analyse en quelques secondes. La détection automatique des schémas dans les tâches ETL en streaming AWS Glue permet de traiter facilement des données comme les journaux IoT qui peuvent ne pas avoir de schéma statique sans perdre de données. Elle permet également de mettre à jour les tableaux de sortie dans le catalogue de données AWS Glue directement à partir de la tâche, à mesure que le schéma de vos données de streaming évolue.
La détection automatique des schémas est disponible dans les mêmes régions AWS qu'AWS Glue.
Pour en savoir plus, reportez-vous à ETL en streaming dans AWS Glue dans notre documentation.