Publicado: Sep 27, 2023
Agora, o Amazon Kinesis Data Firehose está integrado ao Amazon MSK para oferecer uma solução totalmente gerenciada que simplifica o processamento e a entrega de dados de streaming de clusters de Apache Kafka do Amazon MSK para data lakes armazenados no Amazon S3. Com apenas alguns cliques, os clientes do Amazon MSK podem carregar continuamente os dados desejados de clusters de Apache Kafka em buckets do Amazon S3, eliminando a necessidade de desenvolver ou executar suas próprias aplicações de conexão.
O Amazon MSK é um serviço totalmente gerenciado para o Apache Kafka que facilita a criação e a execução de aplicações que usam o Apache Kafka como armazenamento de dados. O Kinesis Data Firehose é um serviço totalmente gerenciado que captura, transforma e entrega continuamente dados de streaming para data lakes, datastores e serviços de análise. O Kinesis Data Firehose escala automaticamente para acompanhar o throughput de dados do Amazon MSK, sem necessidade de administração contínua. Além disso, o Kinesis Data Firehose oferece recursos fáceis de usar, como conversão do formato JSON para Parquet/ORC e agregação de lotes para otimizar o tamanho de arquivos do S3. Esses recursos simplificam os fluxos de trabalho de análise/processamento dos dados entregues.
Para começar a usar, você precisa de uma conta da AWS. Quando você já tiver uma conta, poderá criar um fluxo de entrega no Console do Amazon Kinesis. Para saber mais, consulte o Guia do desenvolvedor do Amazon Kinesis Data Firehose.
A entrega do Amazon MSK para o Amazon S3 usando o Amazon Kinesis Data Firehose pode ser usada em todas as regiões comerciais e AWS GovCloud (EUA) onde o Amazon MSK e o Kinesis Data Firehose estão disponíveis.
A partir de 9 de fevereiro de 2024, o Kinesis Data Firehose passa a se chamar Amazon Data Firehose