Publicado en: Jun 28, 2022
Los trabajos de extracción, transformación y carga (ETL) de streaming en AWS Glue ahora detectan los datos de streaming comprimidos de Amazon Kinesis, Amazon Managed Streaming para Apache Kafka (Amazon MSK) y el servicio Apache Kafka autoadministrado. Luego descomprimen los datos de manera automática sin que los clientes tengan que escribir ningún código, lo que les permite ahorrar horas de desarrollo. Los procesos de ETL de streaming en AWS Glue consumen datos de manera continua a partir de fuentes de streaming, limpian y transforman los datos en tránsito y hacen que estén disponibles para su análisis en cuestión de segundos. Los clientes comprimen los datos antes de transmitirlos para mejorar el rendimiento y para evitar la limitación controlada de Amazon Kinesis y Amazon MSK. Antes de que esta característica estuviera disponible, los clientes tenían que escribir funciones definidas por el usuario para descomprimir los datos de streaming, lo que demandaba mucho tiempo.
Gracias a esta nueva característica, los trabajos de extracción, transformación y carga (ETL) de streaming en AWS Glue detectan automáticamente los datos de streaming que están comprimidos y los descomprimen sin que el cliente tenga que escribir ningún código. Los trabajos de ETL de streaming en AWS Glue son compatibles con la descompresión automática para los tipos de compresión BZIP, GZIP, SNAPPY, XZ, ZSTD y DEFLATE. También son compatibles con los formatos de archivo AVRO, JSON y CSV, entre otros. Para obtener más información, consulte nuestra documentación.
Esta característica está disponible en las mismas regiones de AWS que AWS Glue.