Publié le: Oct 13, 2020
Les tâches d'extraction, de transformation et de chargement (ETL) en streaming dans AWS Glue peuvent désormais ingérer des données à partir de clusters Apache Kafka que vous gérez vous-même. AWS Glue prenait auparavant en charge la lecture spécifiquement à partir d'Amazon Managed Streaming pour Apache Kafka (Amazon MSK). Grâce à cette mise à jour, AWS Glue vous permet d'effectuer un streaming ETL sur les données d'Apache Kafka, que celui-ci soit déployé sur site ou dans le cloud.
Les tâches ETL en streaming AWS Glue consomment en permanence des données provenant de sources de streaming, nettoient et transforment les données actives, et les rendent disponibles pour l'analyse en quelques secondes. Avec l'intégration d'Apache Kafka autogéré en tant que source, vous pouvez désormais également utiliser SSL lorsque vous vous connectez à Apache Kafka, ainsi qu'à des clusters à l'intérieur comme à l'extérieur d'un Amazon Virtual Private Cloud.
La prise en charge d'Apache Kafka autogéré dans AWS Glue est disponible dans les mêmes régions AWS qu'AWS Glue.
Pour en savoir plus sur l'ajout de tâches ETL en streaming, consultez notre documentation.