Publicado: Apr 27, 2020
O AWS Glue agora oferece suporte ao ETL. Este recurso facilita a configuração de pipelines de consumo contínuo que preparam dados de streaming em tempo real e os disponibilizam para análise em segundos. Os trabalhos de ETL por streaming no AWS Glue agora podem consumir dados de fontes de streaming, como Amazon Kinesis e Apache Kafka, limpar e transformar esses fluxos de dados dinamicamente e depois carregar continuamente os resultados nos data lakes, data warehouses e outros armazenamentos de dados do Amazon S3. Os clientes podem usar esse recurso para processar dados do eventos como fluxos de eventos do IoT, clickstreams e logs de rede. Os trabalhos de ETL por streaming no AWS Glue são executados no mecanismo do Apache Spark Structured Streaming. Assim, os clientes podem usá-los para enriquecer, agregar e combinar streaming de dados, bem como executar uma série de operações como de análise e machine learning.
Anteriormente, era preciso construir e costurar sistemas de manuseio e monitoramento de fluxo para criar pipelines de consumo de dados de streaming. Os trabalhos de ETL por streaming no AWS Glue aproveitam a infraestrutura sem servidor do AWS Glue para simplificar o gerenciamento de recursos, otimizar os custos e permitir que você configure pipelines de consumo contínuo sem escrever código, reduzindo o tempo médio de implementação de meses para dias.
Este recurso agora está disponível nas mesmas regiões da AWS que o AWS Glue.
Acesse nossa documentação para saber mais sobre esse recurso.