Publicado: Jun 28, 2022
O ETL (extrair, transformar e carregar) do AWS Glue já consegue detectar fluxos de dados compactados dos serviços Amazon Kinesis, Amazon Managed Streaming for Apache Kafka (Amazon MSK) e Apache Kafka autogerenciado. Ele pode descompactar automaticamente esses dados sem que os clientes tenham que escrever qualquer código, economizando horas de desenvolvimento. Os trabalhos de ETL de streaming do AWS Glue consomem continuamente dados de fontes de streaming, limpam e transformam os dados consumidos e os disponibilizam para análise em segundos. Os clientes compactam os dados antes do streaming para aumentar a performance e evitar os limites de controle de utilização do Amazon Kinesis e Amazon MSK. Antes desse recurso, os clientes precisavam escrever funções definidas pelo usuário para descompactar os dados dos streams, o que é uma atividade demorada.
Com este novo recurso, o ETL de streaming do AWS Glue detecta automaticamente se os dados de um stream estão compactados e os descompacta sem que os clientes tenham que escrever qualquer código. O ETL de streaming do AWS Glue oferece suporte à autodescompactação dos formatos de compactação BZIP, GZIP, SNAPPY, XZ, ZSTD e DEFLATE e é compatível com os formatos de arquivo AVRO, JSON, CSV e outros. Para saber mais, consulte nossa documentação.
Esse recurso é oferecido em todas as regiões da AWS onde o AWS Glue está disponível.