Código aberto

Executado com Apache Kafka nativo

O Amazon MSK oferece suporte à implantação de versões nativas do Apache Kafka para que os aplicativos e ferramentas desenvolvidos para Apache Kafka simplesmente funcionem com o Amazon MSK de imediato, sem precisar de alterações no código do aplicativo.

Disponibilidade da versão simplificada

O Amazon MSK normalmente disponibiliza versões mais recentes do Apache Kafka em sete dias após a disponibilidade pública.

Upgrades de versão perfeitos

Você pode atualizar as versões do Apache Kafka nos clusters do Amazon MSK com apenas alguns cliques, permitindo que você decida quando aproveitar os recursos e as correções de erros presentes nas novas versões do Apache Kafka. O Amazon MSK automatiza a implantação de atualizações de versões em clusters em execução para manter a disponibilidade de E/S do cliente para seus clientes de acordo com práticas recomendadas.

Não há servidores para gerenciar

Totalmente gerenciado

Com alguns cliques no console, é possível criar um cluster do Apache Kafka totalmente gerenciado que segue as práticas recomendadas de implantação do Apache Kafka ou criar um cluster próprio usando uma configuração personalizada. Após a criação da configuração desejada, o Amazon MSK provisiona, configura e gerencia automaticamente as operações do cluster do Apache Kafka e dos nós do Apache ZooKeeper.

Apache ZooKeeper incluído

Apache ZooKeeper é necessário para executar o Apache Kafka, coordenar as tarefas de cluster e manter o estado dos recursos que interagem com o cluster. O Amazon MSK gerencia os nós do Apache ZooKeeper para você. Cada cluster do Amazon MSK inclui o número apropriado de nós do Apache ZooKeeper para o seu cluster do Apache Kafka sem custo adicional.

Altamente disponível

A alta disponibilidade é o padrão

Todos os clusters são provisionados em várias zonas de disponibilidade (três zonas é o padrão) e contam com o suporte do acordo de nível de serviço do Amazon MSK e com o suporte de sistemas automatizados que detectam e respondem a problemas dentro da infraestrutura de cluster e do software Apache Kafka. Se um componente falhar, o Amazon MSK o substituirá automaticamente, sem tempo de inatividade para seus aplicativos. O Amazon MSK gerencia a disponibilidade dos nós do Apache ZooKeeper para que você mesmo não precise iniciar, parar ou acessar os nós. O Amazon MSK também implementa automaticamente patches de software conforme necessários para manter o cluster atualizado e funcionando sem problemas.

Replicação de dados

O Amazon MSK usa replicação multi-AZ para oferecer alta disponibilidade. A replicação de dados é incluída sem custo adicional.

Altamente seguro

Conectividade privada

Seus clusters do Apache Kafka são executados em um Amazon VPC gerenciado pelo Amazon MSK. Esses clusters estão disponíveis para seus próprios Amazon VPCs, sub-redes e grupos de segurança com base na configuração especificada. Você tem controle total da configuração de sua rede, e os endereços IP de suas VPCs são vinculados aos seus recursos do Amazon MSK por meio de interfaces de rede elásticas (ENIs).

Controle de acesso granular

O IAM Access Control é uma opção de segurança sem custo que simplifica a autenticação de cluster e a autorização da API do Apache Kafka usando políticas de usuário ou funções do IAM para controlar o acesso. Ao usar o IAM Access Control, você não precisa mais criar e executar sistemas de gerenciamento de acesso único para controlar a autenticação e a autorização de clientes para o Apache Kafka, e seus clusters são protegidos usando permissões menos privilegiadas por padrão. Você também pode usar SASL/SCRAM ou autenticação TLS mútua com listas de controle de acesso (ACLs) do Apache Kafka para controlar o acesso do cliente. 

Criptografia

O Amazon MSK criptografa os dados em repouso sem configurações especiais ou ferramentas de terceiros. Todos os dados podem ser criptografados quando ociosos usando por padrão a Customer Master Key (CMK – chave mestra do cliente) do AWS Key Management Service (KMS) ou a sua própria CMK. O Amazon MSK também criptografa dados em trânsito por meio de TLS entre agentes e entre clientes e agentes de um cluster.

O menor custo

O Amazon MSK permite começar a usar o serviço por menos de 2,50 USD por dia. Os clientes normalmente pagam entre 0,05 e 0,07 USD por GB consumido, tudo incluído, o que pode representar 1/13 do custo de outros provedores gerenciados. Acesse a página de definição de preço do Amazon MSK para conhecer os preços atuais e a página melhores práticas do Amazon MSK para saber como dimensionar corretamente seus clusters do Amazon MSK.

Altamente integrado

Nenhum outro provedor oferece a amplitude e a profundidade das integrações da AWS no Amazon MSK. Essas integrações incluem:

Escalabilidade

Escalabilidade de agentes

Você pode escalar seus clusters Amazon MSK alterando o tamanho ou a família dos agentes Apache Kafka em minutos, sem tempo de inatividade. Alterar o tamanho ou a família dos seus agentes é uma forma comum de escalar os clusters do Amazon MSK, pois dá a você a flexibilidade de ajustar a capacidade computacional dos clusters do MSK às mudanças em suas cargas de trabalho. Esse método pode ser o preferido porque não requer reatribuição de partição, o que pode impactar a disponibilidade do Apache Kafka.

Como alternativa, você pode expandir o tamanho de seu cluster em até 100 agentes por cluster usando o console ou a interface de linha de comando (CLI). Envie uma solicitação de aumento de limite se precisar de mais de 15 agentes por cluster ou mais de 30 agentes por conta.

Gerenciamento automático de partições

O Amazon MSK pode ser integrado ao Cruise Control, uma popular ferramenta de código aberto para Apache Kafka que gerencia automaticamente a atribuição de partição em seu nome.

Escalabilidade automática de armazenamento

Você pode dimensionar perfeitamente a quantidade de armazenamento provisionado por operador para corresponder às alterações nos requisitos de armazenamento usando o Console de gerenciamento da AWS ou a AWS CLI ou pode criar uma política de Auto Scaling para expandir automaticamente seu armazenamento para atender aos seus requisitos de streaming.

Configurável

Por padrão, o Amazon MSK implanta uma configuração de cluster de acordo com as melhores práticas do Apache Kafka, além de permitir que os clientes ajustem mais de 30 configurações de cluster diferentes, com suporte a todas as configurações dinâmicas e de tópicos. Para obter mais informações, consulte Configurações personalizadas do MSK na documentação.

Visível

Métricas do CloudWatch por padrão

Você pode visualizar e monitorar importantes métricas de cluster, agente, tópico, consumidor e nível de partição usando o Amazon CloudWatch.

Exporte métricas de JMX e nó para um servidor Prometheus

O monitoramento aberto com Prometheus permite que você monitore o Amazon MSK usando soluções como Datadog, Lenses, New Relic, lógica Sumo ou um servidor Prometheus e migre facilmente seus painéis de monitoramento existentes para o Amazon MSK. Para obter mais informações, consulte Monitoramento aberto com Prometheus na documentação. 

Comece a usar o Amazon MSK

Calcule seus custos
Calcule seus custos

Visite a página de definição de preço do Amazon MSK

Consulte o guia de conceitos básicos
Consulte o guia de conceitos básicos

Saiba como configurar seu cluster do Apache Kafka no Amazon MSK neste guia detalhado.

Execute o seu cluster do Apache Kafka
Execute o seu cluster do Apache Kafka

Comece a executar seu cluster do Apache Kafka no Amazon MSK. Faça login no console do Amazon MSK.