Publicado: Apr 27, 2020
O AWS Glue agora oferece suporte a trabalhos de ETL por streaming sem servidor. Esse recurso facilita a configuração de pipelines de consumo contínuo que preparam dados como fluxos de eventos de IoT, clickstreams e logs de rede, e os disponibilizam para análise em segundos. O AWS Glue agora pode consumir dados de fontes de streaming, como Amazon Kinesis e Apache Kafka, limpá-los e transformá-los dinamicamente. Depois, pode carregar os resultados nos data lakes, data warehouses e outros armazenamentos de dado do Amazon S3. Os trabalhos de ETL por streaming do AWS Glue são executados no mecanismo Apache Spark Structured Streaming, assim os clientes podem usá-los para enriquecer, agregar e combinar dados, bem como para executar uma série de operações complexas de análise e machine learning.
Antes, era preciso construir e costurar manualmente os sistemas de processamento e monitoramento de fluxo para criar pipelines de consumo de dados por streaming. Os trabalhos de ETL por streaming no AWS Glue aproveitam a infraestrutura sem servidor do AWS Glue para simplificar o gerenciamento de recursos, otimizar os custos e permitir que você configure pipelines de consumo contínuo sem escrever código, reduzindo o tempo de implementação de meses para dias.
Esse recurso agora está disponível nas mesmas regiões da AWS que o AWS Glue.
Acesse nossa documentação para saber mais sobre esse recurso.