Amazon Managed Streaming for Kafka (MSK)

(demonstração pública)

Serviço de Apache Kafka totalmente gerenciado, altamente disponível e seguro

O Amazon Managed Streaming for Kafka (Amazon MSK) é um serviço totalmente gerenciado que facilita a criação e a execução de aplicativos que usam o Apache Kafka para processar dados de streaming. O Apache Kafka é uma plataforma de código aberto para criação de pipelines de dados de streaming e aplicativos em tempo real. Com o Amazon MSK, você pode usar as APIs do Apache Kafka para preencher data lakes, fazer streaming de alterações para e dos bancos de dados, e desenvolver aplicativos de Machine Learning e análises.

Configurar, escalar e gerenciar os clusters do Apache Kafka na produção pode ser um desafio. Quando você executa o Apache Kafka sozinho, é necessário provisionar servidores, configurar o Apache Kafka manualmente, substituir servidores quando eles falham, orquestrar os patches e as atualizações do servidor, projetar o cluster para alta disponibilidade, garantir que os dados estejam armazenados e seguros, configurar o monitoramento e os alarmes e planejar cuidadosamente os eventos de escalabilidade para oferecer suporte às alterações de carga. O Amazon Managed Streaming for Kafka facilita a criação e a execução de aplicativos de produção no Apache Kafka, sem precisar de experiência em gerenciamento de infraestrutura do Apache Kafka. Isso significa que você passará menos tempo gerenciando a infraestrutura e mais tempo criando aplicativos.

Com alguns cliques no console Amazon MSK você pode criar clusters do Apache Kafka altamente disponíveis com definições e configurações baseadas nas melhores práticas de implantação do Apache Kafka. O Amazon MSK fornece e executa automaticamente os seus clusters do Apache Kafka. O Amazon MSK monitora continuamente a integridade do cluster e substitui automaticamente nós não íntegros sem tempo de inatividade para o seu aplicativo. Além disso, o Amazon MSK protege seu cluster do Apache Kafka criptografando dados ociosos.

Participe de um webinar para saber mais sobre o Amazon Managed Streaming for Kafka (Amazon MSK).

Benefícios

Totalmente compatível

O Amazon MSK executa e gerencia o Apache Kafka para você. Isso facilita a migração e a execução de aplicativos do Apache Kafka existente na AWS sem alterações no código de aplicação. Ao usar o Amazon MSK, você mantém a compatibilidade de código aberto e pode continuar a usar ferramentas personalizadas familiares e criadas pela comunidade como o MirrorMaker, que fornece replicação de fluxos.

Totalmente gerenciado

O Amazon MSK permite que você foque na criação dos seus aplicativos de streaming sem se preocupar com a sobrecarga operacional de gerenciar seu ambiente do Apache Kafka. Ele gerencia o provisionamento, a configuração e manutenção dos clusters do Apache Kafka e os nós do Apache Zookeeper para você. O Amazon MSK também mostra as principais métricas de performance do Apache Kafka no console AWS.

Altamente disponível

O Amazon MSK cria um cluster do Apache Kafka e oferece replicação multi-AZ dentro de uma região da AWS. Ele monitora continuamente a integridade do cluster e, se um componente falha, o Amazon MSK o substituirá automaticamente.

Altamente seguro

O Amazon MSK fornece vários níveis de segurança para seus clusters do Apache Kafka, incluindo o isolamento de rede, usando a Amazon VPC, o AWS IAM para autorização de API de plano de controle e criptografia em repouso. O suporte de criptografia do Amazon MSK é integrado com o AWS Key Management Service (KMS).

Como funciona

O Apache Kafka é uma loja de dados de streaming que separa aplicativos que produzem dados de streaming (produtores) em seu armazenamento de dados de aplicativos dos que consomem dados de streaming (consumidores) de seu armazenamento de dados. Organizações usam o Apache Kafka como uma fonte de dados para aplicativos que analisa continuamente e reage aos dados de streaming.

Com alguns cliques no Console Amazon MSK, o Amazon MSK fornece seus cluster do Apache Kafka e gerencia atualizações do Apache Kafka para que você sempre use a versão mais segura e rápida do Apache Kafka. Depois de configurar seus clusters, seus aplicativos podem transmitir dados dos produtores para um tópico, onde esses dados são lidos em tempo real pelos consumidores.

product-page-diagram_Grand-Canyon-How-It-Works2

Comece a usar o Amazon MSK

Product-Page_Standard-Icons_02_Sign-Up_SqInk
Prepare-se para um cluster do Amazon MSK

Cadastre-se na AWS e faça o download de bibliotecas e ferramentas.

Product-Page_Standard-Icons_01_Product-Features_SqInk
Consulte o guia de conceitos básicos

Saiba como configurar seu cluster do Apache Kafka no Amazon MSK neste guia detalhado.

Product-Page_Standard-Icons_03_Start-Building_SqInk
Execute o seu cluster do Apache Kafka

Comece a executar seu cluster do Apache Kafka no Amazon MSK. Faça login no console Amazon MSK.