Publié le: Mar 7, 2023
AWS Glue prend désormais en charge les tâches ELT de streaming dans la version 4.0, une nouvelle version d'AWS Glue qui accélère les charges de travail d'intégration de données dans AWS. AWS Glue 4.0 met à niveau les moteurs d'intégration de données, notamment vers Apache Spark 3.3.0 et Python 3.10.
Les tâches ETL de streaming AWS Glue consomment en permanence des données provenant de sources de streaming, nettoient et transforment les données en cours et les rendent disponibles pour analyse en quelques secondes. Cette version inclut un magasin de gestion d'état optimisé pour créer des solutions de streaming efficaces sur des microlots. Cela facilite la suppression des doublons dans un flux et la réalisation d'agrégations basées sur les flux. Vous pouvez également ajouter une nouvelle colonne qui indique quand un enregistrement correspondant a été reçu par le flux pour une meilleure observabilité des données. Cette version prend également en charge l'authentification IAM pour Amazon Managed Streaming for Apache Kafka Serverless.
Les tâches ETL de streaming AWS Glue 4.0 sont désormais disponibles dans les mêmes régions AWS qu'AWS Glue, à l'exception de la Chine et de GovCloud.
Pour en savoir plus, informez-vous sur les tâches ETL de streaming dans notre documentation.