Recursos do Amazon MSK

Com alguns cliques no console, é possível criar um cluster totalmente gerenciado do Apache Kafka que segue as práticas recomendadas de implantação do Apache Kafka ou criar um cluster próprio usando uma configuração personalizada. Após a criação da configuração desejada, o Amazon MSK provisiona, configura e gerencia automaticamente as operações do cluster do Apache Kafka e dos nós do Apache ZooKeeper.

O Apache ZooKeeper é necessário para executar o Apache Kafka, coordenar as tarefas do cluster e manter o estado dos recursos que interagem com o cluster. O Amazon MSK gerencia os nós do Apache ZooKeeper para você. Cada cluster do Amazon MSK inclui o número apropriado de nós do Apache ZooKeeper para o seu cluster do Apache Kafka sem custo adicional.

O MSK Serverless é um tipo de cluster do Amazon MSK que facilita a execução dos clusters do Apache Kafka sem a necessidade de gerenciar a capacidade de computação e de armazenamento. O MSK Serverless provisiona e escalona automaticamente recursos e gerencia as partições do Apache Kafka para que você possa transmitir dados sem precisar se preocupar com o dimensionamento correto nem a escalabilidade dos clusters.

Todos os clusters são distribuídos em várias zonas de disponibilidade (três é o padrão) e contam com o suporte do acordo de nível de serviço do Amazon MSK e com o suporte de sistemas automatizados que detectam e respondem a problemas dentro da infraestrutura de cluster e do software Apache Kafka. Se um componente falhar, o Amazon MSK o substituirá automaticamente, sem tempo de inatividade para suas aplicações. O Amazon MSK gerencia a disponibilidade dos nós do Apache ZooKeeper para que você não precise iniciar, parar nem acessar os nós por conta própria. O Amazon MSK também implanta automaticamente patches de software conforme necessário para manter as atualizações do cluster em dia e o funcionamento perfeito dele.

O Amazon MSK usa a replicação multi-AZ para oferecer alta disponibilidade. A replicação de dados é incluída sem custo adicional.

Os clusters do Apache Kafka são executados em uma Amazon Virtual Private Cloud (VPC) gerenciada pelo Amazon MSK. Esses clusters estão disponíveis para suas próprias Amazon VPCs, sub-redes e grupos de segurança com base na configuração especificada. Você tem controle total da configuração da rede e dos endereços IP.

O IAM Access Control é uma opção de segurança sem custo que simplifica a autenticação de clusters e a autorização da API do Apache Kafka usando políticas de usuário ou funções do IAM para controlar o acesso. Com o IAM Access Control, não é mais necessário criar nem executar sistemas únicos de gerenciamento de acesso para controlar a autenticação e a autorização de clientes para o Apache Kafka. Os clusters são protegidos por permissões com privilégio mínimo por padrão. No caso de clusters provisionados, você também pode usar o Simple Authentication and Security Layer (SASL)/Salted Challenge Response Authentication Mechanism (SCRAM) ou a autenticação mútua do Transport Layer Security (TLS) com listas de controle de acesso (ACLs) do Apache Kafka para controlar o acesso de clientes.

O Amazon MSK criptografa os dados em repouso sem configurações especiais nem ferramentas de terceiros. No caso de clusters provisionados, todos os dados em repouso podem ser criptografados usando por padrão a chave do AWS Key Management Service (KMS) ou a sua própria chave. Também é possível criptografar dados em trânsito entre agentes e entre clientes e agentes de um cluster pelo TLS. No caso de clusters sem servidor, todos os dados em repouso são criptografados por padrão usando as chaves gerenciadas por um serviço, e todos os dados em trânsito são criptografados pelo TLS por padrão.

O Amazon MSK oferece uma opção para se conectar com segurança aos agentes de clusters do Amazon MSK que executam o Apache Kafka 2.6.0 ou versões posteriores pela Internet. Ao habilitar o acesso público, clientes autorizados e externos a uma Amazon Virtual Private Cloud (VPC) privada podem transmitir dados criptografados para dentro e para fora de clusters específicos do Amazon MSK.

Nenhum outro provedor oferece a amplitude e a profundidade das integrações da AWS no Amazon MSK. Essas integrações incluem:

• AWS IAM para Apache Kafka e controle de acesso de API de nível de serviço
• Amazon Kinesis Data Analytics para aplicações em execução totalmente gerenciadas do Apache Flink para processar dados de transmissão no Apache Kafka
• Amazon Kinesis Data Analytics Studio para executar transmissões interativas de SQL e trabalhos de SQL de longa duração usando o Apache FlinkSQL
• AWS Glue Schema Registry para controlar e desenvolver esquemas de forma centralizada
• AWS IoT Core para transmissão de eventos do IoT para o MSK
• AWS Database Migration Service (AWS DMS) para captura e análise de modificação de dados
• Amazon Virtual Private Cloud (Amazon VPC) para conectividade de cliente privado e isolamento de rede
• AWS Key Management Service (AWS KMS) para criptografia em repouso
• AWS Certificate Manager Private Certificate Authority para autenticação mútua de clientes pelo TLS
• AWS Secrets Manager para armazenamento seguro e gerenciamento de segredos SASL/SCRAM
• AWS CloudFormation para implantar o Amazon MSK no código
• Amazon CloudWatch para métricas no nível do cluster, do agente, do tópico, do consumidor e da partição
  

O Amazon MSK implanta versões nativas do Apache Kafka para que as aplicações e ferramentas criadas para o Apache Kafka funcionem com o Amazon MSK de imediato, sem precisar de alterações no código da aplicação.

O Amazon MSK normalmente disponibiliza versões mais recentes do Apache Kafka sete dias após a disponibilidade pública.

É possível atualizar as versões do Apache Kafka nos clusters provisionados do Amazon MSK com apenas alguns cliques, permitindo que você decida quando aproveitar os recursos e as correções de erros presentes nas novas versões do Apache Kafka. O Amazon MSK automatiza a implantação de atualizações de versões em clusters em execução para manter a disponibilidade de E/S para seus clientes de acordo com práticas recomendadas. No caso de clusters sem servidor, as versões do Apache Kafka são atualizadas automaticamente pelo Amazon MSK.

Você pode começar a usar o Amazon MSK por menos de USD 2,50 por dia. Os clientes normalmente pagam entre USD 0,05 e 0,07 por gigabyte consumido, com tudo incluído, o que pode representar 1/13 do custo de outros provedores gerenciados. Acesse a página de preços do Amazon MSK para saber mais.

Você pode escalar os clusters do Amazon MSK alterando o tamanho ou a família dos agentes do Apache Kafka em minutos, sem tempo de inatividade. A alteração do tamanho ou da família é uma forma comum de escalar os clusters do Amazon MSK, pois ela oferece a flexibilidade de ajustar a capacidade computacional do cluster do MSK às mudanças nas workloads. Esse método é o mais recomendado porque não exige uma nova atribuição da partição, o que pode impactar a disponibilidade do Apache Kafka.

O Amazon MSK escala automaticamente os recursos de computação e armazenamento de seus clusters conforme as necessidades de taxa de transferência de sua aplicação.

O Amazon MSK pode ser integrado ao Cruise Control, uma ferramenta popular de código aberto para o Apache Kafka que gerencia automaticamente a atribuição de partições em seu nome. No caso de clusters sem servidor, o Amazon MSK gerencia automaticamente a atribuição de partições para você.

É possível aumentar a escala da quantidade de armazenamento provisionado por agente de forma integral para acompanhar as alterações nos requisitos de armazenamento usando o Console de Gerenciamento da AWS ou a AWS Command Line Interface (AWS CLI). Também é possível criar uma política de autoescalabilidade para expandir automaticamente o armazenamento a fim de atender aos crescentes requisitos de transmissão.

O Amazon MSK implanta uma prática recomendada de configuração de cluster para o Apache Kafka por padrão. No caso de cluster provisionados, você pode definir mais de 30 configurações de cluster diferentes e todas as configurações dinâmicas e no nível do tópico. Para obter mais informações, consulte Configurações personalizadas do MSK na documentação.

É possível visualizar e monitorar métricas importantes usando o Amazon CloudWatch para entender e manter a performance da aplicação de transmissão.

O Open Monitoring com Prometheus permite monitorar o Amazon MSK usando soluções como Datadog, Lenses, New Relic, Sumo Logic ou um servidor Prometheus e migrar facilmente painéis de monitoramento existentes para o Amazon MSK. Para obter mais informações, consulte Open Monitoring com Prometheus na documentação.

Com o armazenamento em camadas, você pode armazenar dados praticamente ilimitados no MSK sem a necessidade de fornecer e gerenciar a capacidade de armazenamento com armazenamento em camadas. Você pode habilitar o armazenamento em camadas com alguns cliques para clusters novos ou atuais e pagar pelo que você usa. Você pode primeiro armazenar dados em uma camada de armazenamento primário com performance otimizada e permitir que o MSK classifique os dados automaticamente na nova camada de baixo custo para uma retenção mais longa. O recurso tem suporte em todas as regiões da AWS com MSK. Para saber como começar a armazenar em camadas, visite nosso Guia do Desenvolvedor do Amazon MSK.