O Amazon MSK é um serviço totalmente gerenciado que facilita a criação e execução de aplicativos que usam o Apache Kafka para processar dados de streaming. O gerenciamento de clusters do Apache Kafka é complexo e demorado. O Amazon MSK facilita a criação e a execução de aplicativos de produção no Apache Kafka, sem precisar de experiência em gerenciamento de infraestrutura do Apache Kafka, para que você gaste menos tempo gerenciando a infraestrutura e mais tempo criando aplicativos.

Totalmente compatível

Compatível com APIs e ferramentas nativas do Apache Kafka

O Amazon MSK é compatível com APIs nativas do Apache Kafka e ferramentas de código aberto existentes desenvolvidas em relação a essas APIs. Isso permite que aplicativos do Apache Kafka existentes trabalhem com clusters do Amazon MSK sem alterações no código do aplicativo. Assim, é possível continuar a usar as APIs do Apache Kafka e o ecossistema de código aberto para preencher data lakes, transmitir alterações de e para bancos de dados e aplicativos avançados de machine learning e de análise.

Não há servidores para gerenciar

Totalmente gerenciado

Com alguns cliques no console do Amazon MSK, é possível criar um cluster do Apache Kafka totalmente gerenciado que segue as práticas recomendadas de implantação do Apache Kafka ou criar um cluster próprio usando uma configuração personalizada. Depois de criar a configuração desejada, o Amazon MSK provisiona, configura e gerencia automaticamente as operações do cluster do Apache Kafka e dos nós do Apache ZooKeeper.

Atualizações totalmente gerenciadas do Apache Kafka

Você pode atualizar as versões do Apache Kafka nos clusters do Amazon MSK em apenas alguns cliques, permitindo aproveitar os recursos e as correções de erros presentes nas novas versões do Apache Kafka. O Amazon MSK fornece uma experiência de atualização totalmente gerenciada usando uma atualização sem interrupção dos agentes do Apache Kafka, para permitir atualizações no local para clientes seguindo as práticas recomendadas de alta disponibilidade.

Apache ZooKeeper incluído

Apache ZooKeeper é necessário para executar o Apache Kafka, coordenar as tarefas de cluster e manter o estado dos recursos que interagem com o cluster. O Amazon MSK gerencia os nós do Apache ZooKeeper para você. Cada cluster do Amazon MSK inclui o número apropriado de nós do Apache ZooKeeper para o seu cluster do Apache Kafka sem custo adicional.

Altamente disponível

Recuperação e aplicação de patches automáticos

O Amazon MSK monitora continuamente a integridade dos clusters e substitui os agentes não seguros, sem tempo de inatividade para seus aplicativos. O Amazon MSK gerencia a disponibilidade dos nós do Apache ZooKeeper para que não seja necessário iniciar, parar ou acessar diretamente os nós. O Amazon MSK também implementa patches de software conforme necessário para manter o cluster atualizado e funcionando sem problemas.

Replicação de dados

O Amazon MSK usa replicação multi-AZ para oferecer alta disponibilidade. A replicação de dados é incluída sem custo adicional.  

Altamente seguro

Conectividade privada

Seus clusters do Apache Kafka são executados em um Amazon VPC gerenciado pelo Amazon MSK. Esses clusters estão disponíveis para seus próprios Amazon VPCs, sub-redes e grupos de segurança com base na configuração especificada. Você tem controle total da configuração de sua rede, e os endereços IP de suas VPCs são vinculados aos seus recursos do Amazon MSK por meio de Elastic Network Interfaces (ENI – Interface de rede elástica).

Criptografia e segurança

O Amazon MSK criptografa os dados em repouso sem configurações especiais ou ferramentas de terceiros. Todos os dados podem ser criptografados quando ociosos usando por padrão a Customer Master Key (CMK – chave mestra do cliente) do AWS Key Management Service (KMS) ou a sua própria CMK.

O Amazon MSK também criptografa dados em trânsito por meio de TLS entre agentes e entre clientes e agentes de um cluster. O Amazon MSK também é compatível com a autenticação de certificados baseada em TLS, a autenticação SASL/SCRAM protegida pelo AWS Secrets Manager e com listas de controle de acesso (ACLs) do Apache Kafka para autenticar e autorizar produtores e consumidores em um cluster.

Escalável

Escalabilidade de agentes

Você pode começar com alguns agentes em um cluster do Amazon MSK. Em seguida, usando o Console de Gerenciamento da AWS ou a ILC da AWS, você pode escalar para até centenas de agentes por cluster. Envie uma solicitação de aumento de limite se precisar de mais de 15 agentes por clusters ou mais de 30 agentes por conta.

Como alternativa, é possível escalar os clusters da Amazon alterando o tamanho ou a família dos agentes Apache Kafka. Alterar o tamanho ou a família dos seus agentes dá a você a flexibilidade de ajustar a capacidade computacional dos clusters do MSK para as mudanças em suas cargas de trabalho. 

Escalabilidade de armazenamentos

Você pode dimensionar perfeitamente a quantidade de armazenamento provisionado por corretor para corresponder às alterações nos requisitos de armazenamento usando o Console de gerenciamento da AWS ou a AWS CLI ou pode criar uma política de escalabilidade automática para expandir automaticamente seu armazenamento para atender aos seus requisitos de streaming.

Baixo custo

O Amazon MSK permite começar a usar o serviço por menos de 2,50 USD por dia. Normalmente, os clientes pagam entre 0,05 USD e 0,07 USD por GB consumido, com tudo incluído. Acesse a página de definição de preço do Amazon MSK para conhecer os preços atuais e a página melhores práticas do Amazon MSK para saber como dimensionar corretamente seus clusters do Amazon MSK.

Altamente integrado

Com o Amazon MSK, os clientes podem criar facilmente soluções completas aproveitando as integrações nativas da AWS prontas para uso. Você pode executar aplicativos gerenciados do Apache Flink em dados no Amazon MSK, criptografar dados ociosos usando o AWS KMS, autenticar clientes no Amazon MSK usando ACs privadas do AWS Certificate Manager ou credenciais de clientes protegidas pelo AWS Secrets Manager, implantar o Amazon MSK usando código com o AWS CloudFormation, conectar de forma segura clientes de uma Amazon VPC ao Amazon MSK, usar o AWS Identity and Access Management (IAM) para controlar detalhadamente APIs de serviços e fazer integração com o AWS Glue Schema Registry para controlar e evoluir centralizadamente seus esquemas de dados.

Integra-se com o AWS Glue Schema Registry

O AWS Glue Schema Registry, um recurso sem servidor do AWS Glue, permite validar e controlar a evolução dos dados de streaming usando esquemas Apache Avro registrados, sem custo adicional. Por meio de serializadores e desserializadores licenciados pelo Apache, o Schema Registry se integra a aplicações Java desenvolvidas para o Apache Kafka,Amazon Managed Streaming for Apache Kafka (MSK), Amazon Kinesis Data Streams, Apache Flink, Amazon Kinesis Data Analytics for Apache Flink e AWS Lambda. Quando as aplicações de streaming de dados são integradas ao Schema Registry, você pode melhorar a qualidade dos dados e se proteger contra mudanças inesperadas usando verificações de compatibilidade que controlam a evolução do esquema.

Configurável

Por padrão, o Amazon MSK implanta uma configuração de clusters de acordo com as melhores práticas do Apache Kafka, além de permitir que os clientes ajustem mais de 30 configurações de cluster diferentes, com suporte a todas as configurações dinâmicas e de tópicos. Para obter mais informações, consulte Configurações personalizadas do MSK na documentação.

Comece a usar o Amazon MSK

Calcule seus custos
Calcule seus custos

Visite a página de definição de preço do Amazon MSK

Consulte o guia de conceitos básicos
Consulte o guia de conceitos básicos

Saiba como configurar seu cluster do Apache Kafka no Amazon MSK neste guia detalhado.

Execute o seu cluster do Apache Kafka
Execute o seu cluster do Apache Kafka

Comece a executar seu cluster do Apache Kafka no Amazon MSK. Faça login no console do Amazon MSK.