Publié le: Jun 28, 2022
Les ETL (Extract Transform and Load) de streaming d'AWS Glue peuvent désormais détecter les données compressées provenant d'Amazon Kinesis, d'Amazon Managed Streaming for Apache Kafka (Amazon MSK) et d'Apache Kafka en gestion autonome. Ils peuvent ainsi décompresser automatiquement ces données sans que les clients n'aient à rédiger de code, ce qui leur fait gagner du temps sur le développement. Les tâches ETL de streaming d'AWS Glue consomment en permanence des données provenant de sources de streaming, nettoient et transforment les données en cours et les rendent disponibles pour analyse en quelques secondes. Les clients compressent les données avant le streaming afin d'améliorer les performances et d'éviter toute limitation par Amazon Kinesis et Amazon MSK. Avant l'arrivée de cette fonctionnalité, les clients devaient écrire des fonctions personnalisées pour décompresser les données d'un flux, ce qui prenait beaucoup de temps.
Grâce à cette nouvelle fonctionnalité, les ETL de streaming d'AWS Glue détectent automatiquement la compression des données dans un flux et les décompresse sans que les clients n'aient à rédiger du code. Les ETL de streaming d'AWS Glue prennent en charge la décompression automatique pour les types de compression BZIP, GZIP, SNAPPY, XZ, ZSTD et DEFLATE, et celle -ci est prise en charge sur les formats de fichiers AVRO, JSON, CSV et bien d'autres. Pour en savoir plus, consultez notre documentation.
Cette fonction est disponible dans les mêmes régions AWS où AWS Glue est disponible.