Nenhum servidor para gerenciar

Totalmente gerenciado

Com alguns cliques no console, é possível criar um cluster totalmente gerenciado do Apache Kafka que segue as práticas recomendadas de implantação do Apache Kafka ou criar um cluster próprio usando uma configuração personalizada. Após a criação da configuração desejada, o Amazon MSK provisiona, configura e gerencia automaticamente as operações do cluster do Apache Kafka e dos nós do Apache ZooKeeper.

Apache ZooKeeper incluído

O Apache ZooKeeper é necessário para executar o Apache Kafka, coordenar as tarefas do cluster e manter o estado dos recursos que interagem com o cluster. O Amazon MSK gerencia os nós do Apache ZooKeeper para você. Cada cluster do Amazon MSK inclui o número apropriado de nós do Apache ZooKeeper para o seu cluster do Apache Kafka sem custo adicional.

Amazon MSK Serverless

O MSK Serverless é um tipo de cluster do Amazon MSK que facilita a execução dos clusters do Apache Kafka sem a necessidade de gerenciar a capacidade de computação e de armazenamento. O MSK Serverless provisiona e escalona automaticamente recursos e gerencia as partições do Apache Kafka para que você possa transmitir dados sem precisar se preocupar com o dimensionamento correto nem a escalabilidade dos clusters.

Altamente disponível

A alta disponibilidade é o padrão

Todos os clusters são distribuídos em várias zonas de disponibilidade (três é o padrão) e contam com o suporte do acordo de nível de serviço do Amazon MSK e com o suporte de sistemas automatizados que detectam e respondem a problemas dentro da infraestrutura de cluster e do software Apache Kafka. Se um componente falhar, o Amazon MSK o substituirá automaticamente, sem tempo de inatividade para suas aplicações. O Amazon MSK gerencia a disponibilidade dos nós do Apache ZooKeeper para que você não precise iniciar, parar nem acessar os nós por conta própria. O Amazon MSK também implanta automaticamente patches de software conforme necessário para manter as atualizações do cluster em dia e o funcionamento perfeito dele.

Replicação de dados

O Amazon MSK usa a replicação multi-AZ para oferecer alta disponibilidade. A replicação de dados é incluída sem custo adicional.

Altamente seguro

Conectividade privada

Os clusters do Apache Kafka são executados em uma Amazon Virtual Private Cloud (VPC) gerenciada pelo Amazon MSK. Esses clusters estão disponíveis para suas próprias Amazon VPCs, sub-redes e grupos de segurança com base na configuração especificada. Você tem controle total da configuração da rede e dos endereços IP.

Controle de acesso detalhado

O IAM Access Control é uma opção de segurança sem custo que simplifica a autenticação de clusters e a autorização da API do Apache Kafka usando políticas de usuário ou funções do IAM para controlar o acesso. Com o IAM Access Control, não é mais necessário criar nem executar sistemas únicos de gerenciamento de acesso para controlar a autenticação e a autorização de clientes para o Apache Kafka. Os clusters são protegidos por permissões com privilégio mínimo por padrão. No caso de clusters provisionados, você também pode usar o Simple Authentication and Security Layer (SASL)/Salted Challenge Response Authentication Mechanism (SCRAM) ou a autenticação mútua do Transport Layer Security (TLS) com listas de controle de acesso (ACLs) do Apache Kafka para controlar o acesso de clientes.

Criptografia de dados em repouso e em trânsito

O Amazon MSK criptografa os dados em repouso sem configurações especiais nem ferramentas de terceiros. No caso de clusters provisionados, todos os dados em repouso podem ser criptografados usando por padrão a chave do AWS Key Management Service (KMS) ou a sua própria chave. Também é possível criptografar dados em trânsito entre agentes e entre clientes e agentes de um cluster pelo TLS. No caso de clusters sem servidor, todos os dados em repouso são criptografados por padrão usando as chaves gerenciadas por um serviço, e todos os dados em trânsito são criptografados pelo TLS por padrão.

Conectividade na Internet

O Amazon MSK oferece uma opção para se conectar com segurança aos agentes de clusters do Amazon MSK que executam o Apache Kafka 2.6.0 ou versões posteriores pela Internet. Ao habilitar o acesso público, clientes autorizados e externos a uma Amazon Virtual Private Cloud (VPC) privada podem transmitir dados criptografados para dentro e para fora de clusters específicos do Amazon MSK.

Altamente integrado

Nenhum outro provedor oferece a amplitude e a profundidade das integrações da AWS no Amazon MSK. Essas integrações incluem:

Código aberto

Executado com o Apache Kafka nativo

O Amazon MSK implanta versões nativas do Apache Kafka para que as aplicações e ferramentas criadas para o Apache Kafka funcionem com o Amazon MSK de imediato, sem precisar de alterações no código da aplicação.

Disponibilidade da versão simplificada

O Amazon MSK normalmente disponibiliza versões mais recentes do Apache Kafka sete dias após a disponibilidade pública.

Atualizações de versões integrais

É possível atualizar as versões do Apache Kafka nos clusters provisionados do Amazon MSK com apenas alguns cliques, permitindo que você decida quando aproveitar os recursos e as correções de erros presentes nas novas versões do Apache Kafka. O Amazon MSK automatiza a implantação de atualizações de versões em clusters em execução para manter a disponibilidade de E/S para seus clientes de acordo com práticas recomendadas. No caso de clusters sem servidor, as versões do Apache Kafka são atualizadas automaticamente pelo Amazon MSK.

O menor custo

Você pode começar a usar o Amazon MSK por menos de USD 2,50 por dia. Os clientes normalmente pagam entre USD 0,05 e 0,07 por gigabyte consumido, com tudo incluído, o que pode representar 1/13 do custo de outros provedores gerenciados. Acesse a página de preços do Amazon MSK para saber mais.

Escalável

Escalabilidade do agente (apenas clusters provisionados)

Você pode escalar os clusters do Amazon MSK alterando o tamanho ou a família dos agentes do Apache Kafka em minutos, sem tempo de inatividade. A alteração do tamanho ou da família é uma forma comum de escalar os clusters do Amazon MSK, pois ela oferece a flexibilidade de ajustar a capacidade computacional do cluster do MSK às mudanças nas workloads. Esse método é o mais recomendado porque não exige uma nova atribuição da partição, o que pode impactar a disponibilidade do Apache Kafka.

Escalabilidade do cluster (apenas clusters sem servidor)

O Amazon MSK escala automaticamente os recursos de computação e armazenamento de seus clusters conforme as necessidades de taxa de transferência de sua aplicação.

Gerenciamento automático de partições

O Amazon MSK pode ser integrado ao Cruise Control, uma ferramenta popular de código aberto para o Apache Kafka que gerencia automaticamente a atribuição de partições em seu nome. No caso de clusters sem servidor, o Amazon MSK gerencia automaticamente a atribuição de partições para você.

Armazenamento com escalabilidade automática (apenas clusters provisionados)

É possível aumentar a escala da quantidade de armazenamento provisionado por agente de forma integral para acompanhar as alterações nos requisitos de armazenamento usando o Console de Gerenciamento da AWS ou a AWS Command Line Interface (AWS CLI). Também é possível criar uma política de autoescalabilidade para expandir automaticamente o armazenamento a fim de atender aos crescentes requisitos de transmissão.

Configurável

O Amazon MSK implanta uma prática recomendada de configuração de cluster para o Apache Kafka por padrão. No caso de cluster provisionados, você pode definir mais de 30 configurações de cluster diferentes e todas as configurações dinâmicas e no nível do tópico. Para obter mais informações, consulte Configurações personalizadas do MSK na documentação.

Visível

Fácil observação da performance de transmissão com métricas do CloudWatch por padrão

É possível visualizar e monitorar métricas importantes usando o Amazon CloudWatch para entender e manter a performance da aplicação de transmissão.

Exporte métricas JMX e Node para um servidor Prometheus com o Open Monitoring (apenas clusters provisionados)

O Open Monitoring com Prometheus permite monitorar o Amazon MSK usando soluções como Datadog, Lenses, New Relic, Sumo Logic ou um servidor Prometheus e migrar facilmente painéis de monitoramento existentes para o Amazon MSK. Para obter mais informações, consulte Open Monitoring com Prometheus na documentação.

Comece a usar o Amazon MSK

Calcule seus custos
Calcule seus custos

Visite a página de definição de preço do Amazon MSK

Consulte o guia de conceitos básicos
Consulte o guia de conceitos básicos

Saiba como configurar seu cluster do Apache Kafka no Amazon MSK neste guia detalhado.

Execute seu cluster do Apache Kafka
Execute seu cluster do Apache Kafka

Comece a executar seu cluster do Apache Kafka no Amazon MSK. Faça login no console do Amazon MSK.