Apresentação dos trabalhos de streaming do Amazon EMR Sem Servidor para processamento contínuo de dados de streaming
O Amazon EMR Sem Servidor é uma opção de tecnologia sem servidor do Amazon EMR que simplifica a execução de estruturas de análises de big data de código aberto por engenheiros e cientistas de dados, sem necessidade de configurar, gerenciar e escalar clusters ou servidores. Temos o prazer de anunciar um novo modo de trabalho de streaming no Amazon EMR Sem Servidor que permite analisar e processar continuamente dados de streaming.
O streaming se tornou vital para que as empresas obtenham insights contínuos de fontes de dados, como sensores, dispositivos de IoT e logs da web. No entanto, o processamento de dados de streaming pode ser um desafio devido a requisitos como alta disponibilidade, resiliência a falhas e integração com serviços de streaming. As tarefas de streaming do Amazon EMR Sem Servidor têm recursos integrados para superar esses desafios. Elas oferecem alta disponibilidade por meio da resiliência Multi-AZ (zona de disponibilidade) que faz failovers automáticos para AZs íntegras. Além disso, oferecem maior resiliência por meio de novas tentativas automáticas de execução de trabalhos em caso de falhas e recursos de gerenciamento de logs, como rotação e compactação de logs, para evitar acúmulos de arquivos de log que podem levar a falhas nos trabalhos. Além disso, os trabalhos de streaming do Amazon EMR Sem Servidor oferecem suporte ao processamento de dados de serviços de streaming, como clusters autogerenciados do Apache Kafka e Amazon Managed Streaming para Apache Kafka. Além disso, agora eles estão integrados ao Amazon Kinesis Data Streams usando um novo conector integrado do Amazon Kinesis Data Streams, facilitando a criação de pipelines completos de streaming.
Os trabalhos de streaming do Amazon EMR Sem Servidor estão disponíveis nas versões 7.1.0 e posteriores do EMR nas seguintes regiões da AWS: Leste dos EUA (Norte da Virgínia, Ohio), Oeste dos EUA (Oregon), Europa (Estocolmo, Paris, Frankfurt, Irlanda, Londres), América do Sul (São Paulo) e Ásia-Pacífico (Tóquio, Seul, Singapura, Mumbai, Sydney). Para começar a usar, acesse a página dos trabalhos de streaming do Amazon EMR Sem Servidor no Guia do usuário do Amazon EMR Sem Servidor.