Perguntas frequentes sobre o Amazon MSK

• O Apache Kafka armazena dados de streaming de modo tolerante a falhas, fornecendo um buffer entre produtores e consumidores. Ele armazena eventos como uma série contínua de registros e preserva a ordem em que os registros foram produzidos.
• O Apache Kafka permite que muitos produtores de dados, como sites, dispositivos de Internet das Coisas (IoT) e instâncias do Amazon Elastic Compute Cloud (Amazon EC2) publiquem continuamente dados de streaming e os categorizem usando os tópicos do Apache Kafka. Diversos consumidores de dados (por exemplo, aplicações de machine learning, funções do AWS Lambda ou microsserviços) leem esses tópicos a uma taxa própria, semelhante a uma fila de mensagens ou um sistema de mensagens empresarial.
• Os consumidores de dados processam os dados dos tópicos do Apache Kafka com base na ordem de chegada, preservando a ordem em que os dados foram produzidos.

P: O que é o MSK Serverless?
MSK Serverless é um tipo de cluster do Amazon MSK que torna mais fácil a execução dos clusters do Apache Kafka sem a necessidade de gerenciar a capacidade de computacional e de armazenamento. Com o MSK Serverless, é possível executar aplicações sem a necessidade de provisionar, configurar e otimizar clusters, e você paga pelo volume de dados que transmite e retém.

P: O MSK Serverless equilibra automaticamente as partições dentro de um cluster?
Sim. O MSK Serverless gerencia totalmente as partições, incluindo o monitoramento e a movimentação, para que sejam balanceadas até mesmo através de um cluster.

P: Qual a capacidade de taxa de transferência de dados que o MSK Serverless suporta?
O MSK Serverless fornece até 200 MBps de capacidade de gravação e 400 MBps de capacidade de leitura por cluster. Além disso, para garantir disponibilidade de taxa de transferência suficiente para todas as partições em um cluster, o MSK Serverless aloca até 5 MBps de capacidade de gravação instantânea e 10 MBps de capacidade de leitura instantânea por partição.

P: Quais recursos de segurança o MSK Serverless oferece?
O MSK Serverless criptografa todo o tráfego em trânsito e todos os dados em repouso utilizando chaves gerenciadas por serviço emitidas através do AWS Key Management Service (KMS). Os clientes se conectam ao MSK Serverless através de uma conexão privada usando AWS PrivateLink sem expor seu tráfego à internet pública. Além disso, o MSK Serverless oferece o IAM Access Control, sendo possível gerenciar a autenticação do cliente e a autorização do cliente para recursos Apache Kafka, tais como tópicos.

P: Como os produtores e consumidores podem acessar meus clusters do MSK Serverless?
Quando você cria um cluster no MSK Serverless, você fornece sub-redes de uma ou mais Amazon Virtual Private Clouds (VPCs) que hospedam os clientes do cluster. Os clientes hospedados em qualquer um destes VPCs poderão se conectar ao cluster do MSK Serverless usando sua cadeia de agentes bootstrap.

P: Quais regiões o MSK Serverless está disponível?
Consulte a página de preços do MSK para obter informações atualizadas sobre disponibilidade regional.

P: Quais tipos de autenticação são compatíveis com o MSK Serverless?
O MSK Serverless é compatível com o AWS IAM para autenticação e autorização de clientes. Os clientes podem assumir uma função do AWS IAM para autenticação e você pode reforçar o controle de acesso usando uma política do IAM associada.

P: Como processo dados no meu cluster do MSK Serverless?
Você pode usar quaisquer ferramentas compatíveis com o Apache Kafka para processar dados em seus tópicos de clusters do MSK Serverless. O MSK Serverless se integra com o Amazon Managed Service for Apache Flink para processamento de transmissões com estado e o AWS Lambda para processamento de eventos. Você também pode usar conectores de coletor para o Kafka Connect para enviar dados para qualquer destino.

P: Como o MSK Serverless garante alta disponibilidade?
Quando você cria uma partição, o MSK Serverless cria 2 réplicas da partição e as coloca em diferentes zonas de disponibilidade. Além disso, o MSK Serverless detecta e recupera automaticamente recursos backend que falharam para manter a alta disponibilidade.

P: Posso usar as APIs do Apache Kafka para inserir e retirar dados do Apache Kafka?
Sim, o Amazon MSK oferece suporte às APIs nativas de produtor e consumidor do Apache Kafka. Seu código de aplicativo não precisa ser alterado quando os clientes começam a trabalhar com clusters no Amazon MSK.

P: Posso usar o Apache Kafka Connect, o Apache Kafka Streams ou qualquer outro componente de ecossistema do Apache Kafka com o Amazon MSK?
Sim, você pode usar qualquer componente que aproveite as APIs de produtor e consumidor do Apache Kafka e o Apache Kafka AdminClient. As ferramentas que fazem upload de arquivos .jar para os clusters do Apache Kafka não são compatíveis no momento com o Amazon MSK, incluindo Confluent Control Center, Confluent Auto Data Balancer e o Uber uReplicator.

P: O Apache Kafka oferece suporte às atualizações de versão? 
Sim, o Amazon MSK suporta atualizações de versões Apache Kafka totalmente gerenciadas no local para clusters provisionados. Para saber mais sobre a atualização de versão do Apache Kafka e as práticas recomendadas de alta disponibilidade, consulte a documentação de atualizações de versão.

P: Posso alterar as configurações padrão do agente ou carregar uma configuração de cluster no Amazon MSK?
Sim, o Amazon MSK permite criar configurações personalizadas e aplicá-las a clusters novos e existentes. Para obter mais informações sobre configurações personalizadas, consulte a documentação da configuração.

P: Quais propriedades de configuração posso personalizar?
As propriedades de configurações que você pode personalizar estão documentadas aqui.

P: Qual é a configuração padrão de um novo tópico?
O Amazon MSK usa a configuração padrão do Apache Kafka, a menos que seja especificado de outra forma aqui.

P: O Amazon MSK é executado em uma Amazon VPC?
Sim, o Amazon MSK sempre é executado em uma Amazon VPC gerenciado pelo serviço Amazon MSK. Os recursos do Amazon MSK estarão disponíveis para a sua própria Amazon VPC, sub-rede e grupo de segurança que você selecionar quando o cluster for configurado. Os endereços IP da sua VPC são anexados aos recursos do Amazon MSK por meio de interfaces de rede elásticas (ENIs), e todo o tráfego de rede permanece dentro da rede da AWS e não está acessível à Internet por padrão.

P: Como os agentes no meu cluster do Amazon MSK serão acessíveis para os clientes na minha VPC?
Os agentes em seu cluster serão disponibilizados para clientes em seu VPC por meio de ENIs que aparecem em sua conta. Os Grupos de segurança nas ENIs ditarão a origem e o tipo de tráfego de entrada e saída permitido em seus agentes.

P: É possível conectar-se ao meu cluster pela Internet pública?
Sim, o Amazon MSK oferece uma opção para se conectar com segurança aos agentes de clusters do Amazon MSK que executam o Apache Kafka 2.6.0 ou versões posteriores pela Internet. Ao habilitar o acesso público, clientes autorizados e externos a uma Amazon Virtual Private Cloud (VPC) privada podem transmitir dados criptografados para dentro e para fora de clusters específicos do Amazon MSK. Você pode habilitar o acesso público para clusters MSK após a criação de um cluster sem custo adicional, mas os custos padrão de transferência de dados da AWS para entrada e saída do cluster são aplicáveis. Para saber mais sobre como ativar o acesso público, consulte a documentação de acesso público.

P: A conexão entre meus clientes e um cluster do Amazon MSK é privada?
Por padrão, a única maneira pela qual os dados podem ser produzidos e consumidos a partir de um cluster do Amazon MSK é por meio de uma conexão privada entre seus clientes na sua VPC e o cluster do Amazon MSK. No entanto, se você ativar o acesso público ao cluster do Amazon MSK e se conectar ao cluster MSK usando a string pública de corretores de bootstrap, a conexão, embora autenticada, autorizada e criptografada, não será mais considerada privada. Recomendamos que você configure os grupos de segurança do cluster para ter regras TCP de entrada que permitam o acesso público a partir do seu endereço IP confiável e torne essas regras o mais restritivas possível se você ativar o acesso público.

Pergunta: Como faço para me conectar ao meu cluster do Amazon MSK pela Internet?
A maneira mais fácil é ativar a conectividade pública pela Internet para os agentes de clusters do MSK que executam o Apache Kafka 2.6.0 ou versões posteriores. Por motivos de segurança, você não pode ativar o acesso público ao criar um cluster do MSK. No entanto, pode atualizar um cluster existente para torná-lo acessível publicamente. Você também pode criar um novo cluster e atualizá-lo para torná-lo acessível publicamente. Para saber mais sobre como ativar o acesso público, consulte a documentação de acesso público.

Pergunta: Como faço para me conectar ao meu cluster do Amazon MSK de dentro da rede da AWS, mas fora da Amazon VPC do cluster?
Você pode se conectar ao seu cluster do MSK a partir de qualquer conta VPC ou AWS diferente da do seu cluster do MSK ao ativar a conectividade privada de várias VPCs para clusters do MSK que executam as versões 2.7.1. ou versões posteriores do Apache Kafka. Você só pode ativar a conectividade privada após a criação do cluster para qualquer um dos esquemas de autenticação compatíveis (autenticação IAM, SASL SCRAM e autenticação mTLS). Você deve configurar seus clientes para se conectarem de forma privada ao cluster usando conexões VPC gerenciadas pelo Amazon MSK que usam a tecnologia AWS PrivateLink para permitir a conectividade privada. Para saber mais sobre como configurar a conectividade privada, consulte Acesso a partir da documentação da AWS.

P: É possível criptografar dados no meu cluster do Amazon MSK?
Sim, o Amazon MSK utiliza a criptografia do lado do servidor do Amazon Elastic Block Store (Amazon EBS) e as chaves do AWS Key Management Service (AWS KMS) para criptografar volumes de armazenamento.

P: Os dados são criptografados em trânsito entre agentes em um cluster do Amazon MSK?
Sim. Por padrão, os novos clusters têm a criptografia em trânsito habilitada por meio de TLS para comunicação entre agentes. Para clusters provisionados, é possível desabilitar o uso da criptografia em trânsito quando um cluster é criado.

P: Os dados são criptografados em trânsito entre meus clientes do Apache Kafka e o serviço Amazon MSK?
Sim, por padrão, a criptografia em trânsito é definida como somente TLS para clusters criados pela CLI ou pelo Console de Gerenciamento da AWS. A configuração adicional é necessária para que os clientes se comuniquem com clusters usando a criptografia de TLS. Para clusters provisionados, é possível alterar a configuração de criptografia padrão selecionando as configurações de TLS/texto simples ou de texto simples. Leia mais: sobre criptografia do MSK.

P: Os dados são criptografados em trânsito à medida que se movem entre corretores e nós do Apache ZooKeeper em um cluster do Amazon MSK?
Sim, os clusters do Amazon MSK que executam a versão 2.5.1 do Apache Kafka ou superior, oferecem suporte à criptografia TLS em trânsito entre agentes Kafka e nós do ZooKeeper.

P: Como posso controlar a autenticação do cluster e a autorização da API do Apache Kafka?
Para clusters sem servidor, é possível usar o IAM Access Control para autenticação e autorização. Para clusters provisionados, existem três opções: 1) AWS Identity and Access Management (IAM) Access Control para AuthN/Z (recomendado), 2) autenticação de certificado TLS (CA) para AuthN e listas de controle de acesso para AuthZ, e 3) SASL/SCRAM para AuthN e listas de controle de acesso para AuthZ. O Amazon MSK recomenda o uso do IAM Access Control. É o mais fácil de usar e, como o padrão é o acesso com privilégio mínimo, a opção mais segura.

P: Como funciona a autorização no Amazon MSK?
Se você estiver usando o IAM Access Control, o Amazon MSK usa as políticas que você escrever e seu próprio autorizador para autorizar ações. Se você estiver usando autenticação de certificado TLS ou o SASL/SCRAM, o Apache Kafka usará listas de controle de acesso (ACLs) para autorização. Para habilitar as ACLs, é necessário habilitar a autenticação de clientes usando certificados TLS ou SASL/SCRAM.

P: Como posso autenticar e autorizar um cliente ao mesmo tempo?
Se você estiver usando o controle de acesso IAM, o Amazon MSK autenticará e autorizará para você sem qualquer configuração adicional. Se você usa autenticação TLS, poderá utilizar o Dname de certificados TLS de clientes como principal da ACL para autorizar solicitações de clientes. Se você usa SASL/SCRAM, poderá utilizar o nome de usuário como principal da ACL para autorizar solicitações de clientes.

P: Como posso controlar as ações da API de serviço?
Você pode controlar as ações da API do serviço usando o AWS Identity and Access Management (IAM).

P: É possível habilitar o IAM Access Control para um cluster existente?
Sim, é possível habilitar o IAM Access Control para um cluster existente do Console AWS ou usando a API UpdateSecurity.

P: É possível usar o IAM Access Control fora do Amazon MSK?
Não, o IAM Access Control está disponível apenas para clusters do Amazon MSK.

P: Como forneço permissões de acesso entre contas a um cliente Kafka em uma conta da AWS diferente da do Amazon MSK para me conectar de forma privada ao meu cluster do Amazon MSK?
Você pode anexar uma política de cluster ao seu cluster Amazon MSK para fornecer permissões de cliente Kafka entre contas e configurar a conectividade privada com seu cluster Amazon MSK. Ao usar a autenticação do cliente IAM, você também pode usar a política de cluster para a definição granular as permissões do plano de dados Kafka para o cliente conectado. Para saber mais sobre políticas de cluster, consulte a documentação da política de cluster.

P: O que é o Apache ZooKeeper?
Retirado de https://zookeeper.apache.org: “O Apache ZooKeeper é um serviço centralizado para manter informações de configuração, nomear, fornecer sincronização distribuída e fornecer serviços de grupo. Todos esses tipos de serviços são usados de uma forma ou de outra por aplicações distribuídas,” incluindo o Apache Kafka.

P: O Amazon MSK usa o Apache ZooKeeper?
Sim, o Amazon MSK usa o Apache ZooKeeper e gerencia o Apache ZooKeeper em cada cluster como parte do serviço Amazon MSK. Os nós do Apache ZooKeeper são incluídos em cada cluster, sem custo adicional.

• Amazon S3, usando o Kinesis Data Firehose para entregar dados ao Amazon S3 a partir do MSK com facilidade e sem código.
  
• Amazon Virtual Private Cloud (Amazon VPC), para isolamento e segurança de rede
• Amazon CloudWatch para métricas
• AWS Key Management Service (AWS KMS) para criptografia de volume de armazenamento.
• Amazon IAM para autenticação e autorização do Apache Kafka e APIs de serviço.
• AWS Lambda para fonte de eventos de MSK
• AWS IoT para fonte de eventos de IoT
• AWS Glue Schema Registry para controlar a evolução dos esquemas usados pelas aplicações do Apache Kafka
  
• AWS CloudTrail para logs de APIs da AWS
• AWS Certificate Manager para CAs privadas usadas para autenticação TLS de clientes
• AWS CloudFormation para descrever e provisionar clusters do Amazon MSK usando código
  
• Amazon Managed Service for Apache Flink para aplicações do Apache Flink totalmente gerenciadas que processam dados de streaming
  
• Amazon Managed Service for Apache Flink Studio para streaming interativo de SQL no Apache Kafka
  
• AWS Secrets Manager para credenciais de clientes usadas para autenticação SASL/SCRAM
  

• Amazon S3, usando o Kinesis Data Firehose para entregar dados ao Amazon S3 a partir do MSK com facilidade e sem código.
  
• Amazon VPC, para isolamento e segurança de rede
• Amazon CloudWatch para métricas
• Amazon IAM para autenticação e autorização do Apache Kafka e APIs de serviço.
• AWS Glue Schema Registry para controlar a evolução dos esquemas usados pelas aplicações do Apache Kafka
• AWS CloudTrail para logs de APIs da AWS
• AWS PrivateLink para conectividade privada
  

P: Como funciona a definição de preço do Amazon MSK?
A definição de preço depende dos recursos criados. Saiba mais acessando a página definição de preço.

P: Eu pago pela transferência de dados resultante da replicação de dados?
Não, todas as transferências de dados no cluster estão incluídas no serviço sem custo adicional.

P. Quais regiões da AWS oferecem o Amazon MSK?
A disponibilidade de regiões do Amazon MSK está documentada aqui.

P. Como funciona a definição de preço para a transferência de dados?
Com os clusters provisionados, você pagará taxas de transferência de dados padrão AWS para dados transferidos dentro e fora de um cluster do Amazon MSK. Você não será cobrado pela transferência de dados dentro do cluster em uma região, incluindo a transferência de dados entre os agentes e a transferência de dados entre os agentes e os nós do Apache ZooKeeper.

Com clusters sem servidor, você pagará taxas padrão de cobrança de transferência de dados AWS por dados transferidos de ou para outra região e por dados transferidos para fora da internet pública.

• Qualificado pela HIPAA

• PCI

• ISO

• SOC 1, 2, 3

Para obter uma lista completa dos serviços e programas de conformidade da AWS, consulte Serviços da AWS no escopo pelo programa de conformidade.

P: O que é o Amazon MSK Replicator?
O Amazon MSK Replicator é um recurso do Amazon MSK que permite aos clientes replicar dados de forma confiável em clusters do Amazon MSK em diferentes regiões da AWS (replicação entre regiões) ou dentro da mesma região da AWS (replicação na mesma região), sem escrever código ou gerenciar a infraestrutura. Você pode usar a replicação entre regiões (CRR) para criar aplicativos de streaming multirregional altamente disponíveis e tolerantes a falhas para aumentar a resiliência. Você também pode usar o CRR para fornecer acesso de menor latência aos consumidores em diferentes regiões geográficas. Você pode usar o SRR para distribuir dados de um cluster para vários clusters para compartilhar dados com seus parceiros e equipes. Você também pode usar o SRR para agregar dados de vários clusters em um para fins analíticos.

P: Como faço para usar o MSK Replicator?
Para configurar a replicação entre um par de clusters MSK de origem e destino, você precisa criar um replicador na região de destino da AWS. Para criar um replicador, especifique detalhes que incluem o nome do recurso da Amazon (ARN) dos clusters MSK de origem e destino e uma função do AWS Identity and Access Management (IAM) que o MSK Replicator pode usar para acessar os clusters. Você precisará criar o cluster MSK de destino, caso ele ainda não exista.

P: Quais tipos de clusters do Kafka são compatíveis com o MSK Replicator?
O MSK Replicator oferece suporte à replicação somente em clusters MSK. Há suporte para clusters MSK do tipo provisionado e sem servidor. Você também pode usar o MSK Replicator para passar de provisionado para sem servidor ou vice-versa. Outros clusters do Kafka não são suportados.

P: Posso especificar quais tópicos eu quero replicar?
Sim, você pode especificar quais tópicos deseja replicar usando listas de permissão e negação ao criar o Replicador.

P: O MSK Replicator replica configurações de tópicos e compensações de grupos de consumidores?
Sim. O MSK Replicator replica automaticamente os metadados necessários do Kafka, como configuração de tópicos, listas de controle de acesso (ACLs) e compensações de grupos de consumidores, para que os aplicativos consumidores possam retomar o processamento sem problemas após o failover. Você pode optar por desativar uma ou mais dessas configurações se quiser apenas replicar os dados. Você também pode especificar quais grupos de consumidores deseja replicar usando listas de permissão ou negação ao criar o Replicador.

P: Preciso escalar a replicação quando meu throughput de entrada muda?
Não, o MSK Replicator implanta, provisiona e escala automaticamente a infraestrutura de replicação subjacente para suportar mudanças em seu throughput de entrada.

P: Posso replicar dados entre clusters do MSK em diferentes contas da AWS?
Não, o MSK Replicator só oferece suporte à replicação entre clusters MSK na mesma conta da AWS.

P: Como posso monitorar a replicação?
Você pode usar o Amazon CloudWatch na região de destino para visualizar métricas para “ReplicationLatency,
MessageLag e ReplicatorThroughput” em um tópico e nível agregado para cada replicador, sem custo adicional. As métricas seriam visíveis em ReplicatorName no espaço de nome “AWS/Kafka”. Você também pode ver as métricas “ReplicatorFailure, AuthError e ThrottleTime” para verificar se o replicador está enfrentando algum problema.

P: Como posso usar a replicação para aumentar a resiliência do meu aplicativo de streaming em todas as regiões?
Você pode usar o MSK Replicator para configurar topologias de cluster ativo-ativo ou ativo-passivo para aumentar a resiliência do seu aplicativo Kafka em todas as regiões. Em uma configuração ativa-ativa, os dois clusters MSK estão servindo ativamente leituras e gravações. Comparativamente, em uma configuração ativa-passiva, apenas um cluster MSK por vez está servindo ativamente dados de streaming, enquanto o outro cluster está em espera.

P: Posso usar o MSK Replicator para replicar dados de um cluster para vários clusters ou replicar dados de vários clusters para um?
Sim. Você só precisa criar um replicador diferente para cada par de clusters de origem e destino.

P: Como o MSK Replicator se conecta aos clusters MSK de origem e de destino?
O MSK Replicator usa o IAM Access Control para se conectar aos clusters de origem e de destino. Você precisa ativar seus clusters MSK de origem e destino para o IAM Access Control para criar um replicador. Você pode continuar usando outros métodos de autenticação, incluindo SASL/SCRAM e mTLS, ao mesmo tempo para seus clientes, já que o Amazon MSK oferece suporte a vários métodos de autenticação simultaneamente.

P: Quanta latência de replicação devo esperar com o MSK Replicator?
O MSK Replicator replica os dados de forma assíncrona. A latência de replicação varia com base em muitos fatores, incluindo a distância de rede entre as regiões da AWS de seus clusters MSK, a capacidade de throughput dos clusters de origem e de destino e o número de partições em seus clusters de origem e destino

P: Posso manter os mesmos nomes de tópicos com o MSK Replicator?
Não, o MSK Replicator cria novos tópicos no cluster de destino com um prefixo gerado automaticamente adicionado ao nome do tópico. Por exemplo, o MSK Replicator replicará dados em “tópico” do cluster de origem para um novo tópico no cluster de destino chamado “<sourceKafkaClusterAlias>.topic”. O MSK Replicator faz isso para distinguir tópicos que contêm dados replicados do cluster de origem de outros tópicos no cluster de destino e evitar que os dados sejam replicados circularmente entre os clusters. Você pode encontrar o prefixo que será adicionado aos nomes dos tópicos no cluster de destino no campo “sourceKafkaClusterAlias” usando a API DescribeReplicator ou a página de detalhes do Replicator no console MSK.

P: Posso replicar dados existentes no cluster de origem?
Não. Quando você cria um novo replicador, ele começa a replicar dados da ponta do stream (último deslocamento) no cluster de origem.

P: A replicação pode resultar no controle de utilização dos consumidores no cluster de origem?
Como o MSK Replicator atua como consumidor do seu cluster de origem, é possível que a replicação faça com que outros consumidores sejam limitados ao seu cluster de origem. Isso depende da capacidade de leitura que você tem no cluster de origem e do throughput dos dados que você está replicando. Recomendamos que você provisione a capacidade idêntica para seus clusters de origem e de destino e contabilize o throughput de replicação enquanto calcula a capacidade necessária. Você também pode definir cotas do Kafka para o replicador em seus clusters de origem e destino para controlar a capacidade que o replicador pode usar.

P: Posso compactar dados antes de gravar no cluster de destino?
Sim, você pode especificar sua escolha de codec de compressão ao criar o Replicator entre None, GZIP, Snappy, LZ4 e ZSTD.