Publicado: Nov 25, 2019
Agora você pode executar o Apache Flink e o Apache Kafka juntos usando serviços totalmente gerenciados na AWS. A AWS fornece um serviço totalmente gerenciado para o Apache Flink por meio do Amazon Kinesis Data Analytics, permitindo que você crie rapidamente e execute com facilidade aplicativos sofisticados de streaming. Você pode usar esses aplicativos Apache Flink totalmente gerenciados para processar dados de streaming armazenados no Apache Kafka em execução na Amazon VPC ou no Amazon MSK, um serviço Apache Kafka totalmente gerenciado, altamente disponível e seguro.
O Apache Flink é uma estrutura e um mecanismo distribuídos para o processamento de streams de dados. Com o Amazon Kinesis Data Analytics, os desenvolvedores usam o Apache Flink para criar aplicativos de streaming para transformação e análise de dados em tempo real.
O Apache Kafka é uma plataforma de código aberto para criação de pipelines de dados de streaming e aplicativos em tempo real. Com o Amazon MSK, você pode usar as APIs do Apache Kafka para preencher data lakes, fazer streaming de alterações para e dos bancos de dados, e desenvolver aplicativos de Machine Learning e análises.
Para começar a criar seu primeiro aplicativo, visite o Console de Gerenciamento da AWS para anexar facilmente um aplicativo de streaming ao cluster do Amazon MSK. Você pode aprender a criar um aplicativo Apache Flink integrado ao Amazon MSK no Guia do desenvolvedor do Amazon Kinesis Data Analytics.
Confira uma lista de onde o Amazon MSK e o Amazon Kinesis Data Analytics estão disponíveis na tabela de regiões da AWS. Essa integração está disponível no Leste dos EUA (Norte da Virgínia) e UE (Irlanda). A integração chegará em breve a todas as outras regiões em que o Amazon Kinesis Data Analytics está disponível.