O blog da AWS
Apresentando o modo de consumo de fila para Apache Kafka no AWS Lambda
Por Vaibhav Jain, Hardith Murari e Nihar Sheth, na Amazon Web Services.
O modo de consumo de fila para mapeamentos de origem de eventos (ESMs) do AWS Lambda que se inscrevem no Apache Kafka já está disponível. O modo de consumo de fila está disponível no ESM do Apache Kafka autogerenciado. Ele abrange tanto clusters Kafka que você mesmo opera quanto ofertas gerenciadas de Kafka, como o Confluent Cloud e outros provedores que oferecem o Kafka 4.2 ou posterior com suporte a Kafka Queue.
Com este lançamento, você pode criar cargas de trabalho orientadas a eventos no estilo de fila sobre o Kafka, que processam registros com alto paralelismo e escalam a simultaneidade de acordo com o seu backlog, em vez de depender do layout dos seus tópicos. O modo de fila alcança isso usando os Kafka Share Groups (KIP-932), introduzidos no Kafka 4.0. Com os share groups, vários consumidores leem simultaneamente das mesmas partições, de modo que o Lambda pode processar registros de uma única partição por meio de muitas invocações paralelas. O resultado é um paralelismo desacoplado da contagem de partições, sem bloqueio head-of-line e sem a necessidade de introduzir um segundo sistema de mensageria na sua arquitetura.
Muitas cargas de trabalho do Kafka tratam cada evento como uma unidade de trabalho independente, e não como uma etapa em uma sequência ordenada: gerar versões de imagens e vídeos após o upload, transferir trabalho lento de uma API voltada ao usuário, avaliar transações para detecção de fraudes, entregar notificações, enriquecer registros para inferência, processar arquivos em lote, fazer buffer antes de uma dependência com limite de taxa e ingerir telemetria. A correção dessas cargas de trabalho depende de processar os registros rapidamente, e não em ordem. No entanto, o protocolo de grupo de consumidores do Kafka atribui cada partição a exatamente um consumidor, de modo que um tópico com 10 partições suporta até 10 consumidores simultâneos. O excesso de partições eleva esse limite, mas aumenta o uso de recursos do broker, torna os rebalanceamentos mais lentos e ainda mantém o bloqueio head-of-line, em que um registro lento paralisa todos os registros atrás dele. Anteriormente, as equipes migravam esse tráfego para um sistema de filas separado, adicionando uma plataforma para operar e novo código de produtor.
Nesta publicação, você aprende como o modo de consumo de fila funciona em comparação ao modo stream existente, quais requisitos de broker e cluster o seu cluster Kafka 4.2 deve atender e como escalar dos padrões sob demanda para o modo provisionado em cargas de trabalho de alto throughput.
O que há de novo
Este lançamento adiciona um parâmetro ConsumptionMode aos mapeamentos de origem de eventos do Kafka no Lambda. Ele aceita dois valores: Stream (o padrão, que corresponde ao comportamento atual) e Queue, que usa os Kafka Share Groups para consumo paralelo. O primitivo central em ambos os modos é o event poller, um recurso de computação que busca registros do Kafka e invoca a sua função Lambda. O modo Queue altera o protocolo que um event poller usa para obter esses registros. Como os pollers deixam de estar vinculados a partições individuais, o modo Queue oferece suporte a maior simultaneidade. Um único poller alcança até 10 invocações simultâneas, em comparação a 5 no modo Stream, e o modo Queue escala independentemente da contagem de partições. Abordamos o modelo de escalabilidade em detalhes mais adiante nesta publicação.
Modo Stream: um consumidor por partição, processamento ordenado
O padrão de ConsumptionMode é Stream, portanto os ESMs existentes não são afetados por este lançamento. No modo Stream, os event pollers ingressam em um grupo de consumidores do Kafka, e o broker atribui cada partição exclusivamente a um consumidor. Isso garante o processamento ordenado dentro de cada partição.
Modo Queue: vários consumidores por partição, processamento paralelo sem ordenação
Definir ConsumptionMode como Queue instrui o Lambda a usar o Kafka Share Consumer. Os event pollers ingressam em um share group, no qual as partições podem ser atribuídas a vários event pollers para processamento paralelo, sem garantias de ordem. O broker gerencia um ciclo de vida do registro composto pelos estados Available, Acquired, Acknowledged e Archived. Os registros buscados são marcados como Acquired sob um timeout de visibilidade chamado duração do bloqueio de registro. Uma invocação bem-sucedida os confirma. Uma invocação com falha os libera de volta para Available, para que qualquer poller possa adquiri-los. Enquanto uma invocação ainda está em execução, o poller renova o bloqueio sem incrementar a contagem de tentativas de entrega.
Escolhendo entre os modos
Use o modo Stream quando a ordenação por partição for importante: captura de dados de alteração (change data capture), event sourcing ou máquinas de estado por entidade. Use o modo Queue quando os registros forem independentes e você quiser um paralelismo que não seja limitado pela contagem de partições. Você pode executar um ESM em modo Queue e um ESM em modo Stream no mesmo tópico. Cada um opera de forma independente por meio de seu próprio protocolo.
Requisitos mínimos
Antes de configurar um ESM com ConsumptionMode: Queue, confirme que o seu cluster Kafka e a sua função Lambda atendem aos requisitos a seguir.
Requisitos do cluster
- Apache Kafka 4.2 ou posterior, com share groups ativados.
Quatro configurações do broker interagem com a configuração do seu ESM:
- group.share.partition.max.record.locks – O máximo de registros em andamento por partição. No modo Queue, vários pollers podem adquirir registros da mesma partição simultaneamente, de modo que a contagem total de registros em andamento pode exceder o tamanho de lote de um único poller. Defina esse valor alto o suficiente para acomodar a simultaneidade esperada. Quando o limite é atingido, os pollers não conseguem adquirir novos registros dessa partição até que os registros existentes sejam confirmados ou os seus bloqueios expirem.
- group.share.record.lock.duration.ms – O timeout de visibilidade dos registros adquiridos. Na maioria dos casos, o padrão de 30 segundos é suficiente. O poller renova o bloqueio durante o processamento. Uma função de longa duração normalmente não requer uma duração superior a 30 segundos.
- group.share.delivery.count.limit – O número máximo de vezes que o broker tenta entregar um registro antes de arquivá-lo. Isso funciona em conjunto com
MaximumRetryAttemptspara governar o comportamento de novas tentativas. - group.share.max.size – O máximo de consumidores permitidos no share group. Quando o modo provisionado está ativo, mantenha
MinimumPollers≤MaximumPollers≤group.share.max.sizepara que a escalabilidade do Lambda não seja limitada pelo broker. No modo sob demanda, o Lambda gerencia internamente as contagens de pollers dentro de padrões seguros para o broker.
Primeiros passos
No console do Lambda, escolha a sua função, escolha Add trigger e selecione Self-managed Apache Kafka. Informe seus bootstrap servers e o nome do tópico, defina Consumption mode como Queue e configure as sub-redes e os grupos de segurança da sua nuvem privada virtual (VPC). Opcionalmente, defina Minimum event pollers e Maximum event pollers para usar o modo provisionado. Para escalabilidade sob demanda, deixe esses campos vazios.
O comando da AWS CLI a seguir cria o ESM equivalente no modo Queue em modo sob demanda:
ConsumptionMode é o único parâmetro necessário para ativar o modo Queue. BatchSize define o máximo de registros por lote enviado à sua função, aceita valores de 1 a 10.000 e tem o padrão de 100.
Com o AWS CloudFormation, o recurso equivalente é o seguinte:
O modo Queue também pode ser configurado por meio dos AWS SDKs, do AWS Serverless Application Model (AWS SAM) e do AWS Cloud Development Kit (AWS CDK). Para o passo a passo completo de configuração, consulte o AWS Lambda Developer Guide.
Escalabilidade com o modo sob demanda
Os ESMs em modo Queue usam o modo sob demanda para escalabilidade por padrão. O Lambda avalia o atraso (lag) do consumidor do share group em intervalos de um minuto e adiciona ou remove event pollers conforme necessário, concluindo as ações de escalabilidade em até três minutos. O modo sob demanda escala até cinco event pollers por ESM, cada um com suporte a até 1 MB/s. Ele atinge seu limite em 5 MB/s de throughput agregado ou 50 invocações simultâneas, o que ocorrer primeiro. Isso é adequado para cargas de trabalho de menor simultaneidade e ambientes de desenvolvimento.
Escalabilidade com o modo provisionado
Para cargas de trabalho com requisitos rigorosos de latência ou tráfego com picos, o modo provisionado para escalabilidade oferece controle direto sobre os event pollers dedicados ao seu ESM. Defina MinimumPollers de 1 a 200 e MaximumPollers de 1 a 2.000. No entanto, a configuração group.share.max.size do broker limita quantos membros podem ingressar em um share group, e o Kafka 4.2 limita esse valor a 1.000. Defina MaximumPollers como 1.000 ou menos, a menos que o seu broker ofereça suporte a um limite maior. Cada event poller provisionado oferece suporte a até 5 MB/s.
Para dimensionar MinimumPollers, divida a sua taxa de ingestão de base por 5 MB/s. Se a sua carga de trabalho for limitada por simultaneidade, divida o número alvo de invocações simultâneas por 10. Uma carga de trabalho que precisa de 300 invocações simultâneas requer pelo menos 30 pollers. Definir MinimumPollers igual a MaximumPollers fixa a capacidade e desativa o autoscaling. Para orientações detalhadas de dimensionamento, consulte Introducing provisioned mode for Kafka event source mappings with AWS Lambda no AWS Compute Blog.
O processamento de baixa latência, a filtragem com schema registry para Avro e Protobuf e o agrupamento de ESMs estão disponíveis apenas no modo provisionado. O modo provisionado também elimina a necessidade de configurar endpoints de VPC do AWS PrivateLink, de modo que você não é cobrado por esses endpoints. Para alternar um ESM para escalabilidade sob demanda, passe uma configuração vazia:
Otimização de custos com o modo provisionado
No modo provisionado, ESMs na mesma VPC podem compartilhar a capacidade de Event Poller Unit (EPU) por meio de um PollerGroupName comum, permitindo que ESMs de baixo throughput sejam agrupados em EPUs compartilhadas, em vez de cada um manter capacidade dedicada. Para mais detalhes, consulte Cost optimization for provisioned mode. Um poller group oferece suporte a até 100 ESMs e 2.000 pollers máximos agregados.
Os ESMs em modo Queue compartilham EPUs somente com outros ESMs em modo Queue. Os dois modos escalam automaticamente com base em sinais diferentes, e o isolamento evita que um novo ESM em modo Queue desestabilize consumidores ordenados existentes. Use um PollerGroupName exclusivo para os seus ESMs em modo Queue. Se você reutilizar um PollerGroupName entre modos, CreateEventSourceMapping retornará um erro de validação.
Tratamento de falhas
MaximumRetryAttempts aceita valores de 0 a 10.000 e tem o padrão de -1, que tenta novamente indefinidamente. BisectBatchOnFunctionError divide um lote ao meio quando a função retorna um erro, isolando um registro problemático (poison pill) de um lote que, de outra forma, estaria íntegro. Para capturar registros que esgotaram suas tentativas, configure um destino em caso de falha: um tópico Kafka, o Amazon Simple Queue Service (Amazon SQS) ou o Amazon Simple Notification Service (Amazon SNS). O registro em log do ESM no Amazon CloudWatch Logs está disponível para diagnóstico.
Principais considerações sobre o modo Queue
Tenha em mente os pontos a seguir ao configurar o seu mapeamento de origem de eventos para o modo Queue.
- Torne sua função idempotente – Os mapeamentos de origem de eventos do Lambda processam cada registro pelo menos uma vez, e pode ocorrer processamento duplicado. Consulte How do I make my Lambda function idempotent no AWS Knowledge Center.
- Sem garantias de ordenação – Os registros podem chegar fora de ordem, inclusive os da mesma partição.
- A janela de lote não é suportada –
MaximumBatchingWindowInSecondsretorna um erro de validação. O Kafka Share Consumer exige que todos os registros de um lote sejam confirmados antes de buscar novos registros, o que é incompatível com uma janela baseada em tempo. - A posição inicial não é suportada –
StartingPositioneStartingPositionTimestampnão podem ser usados. O modo Queue lê a partir da posição confirmada do share group. Para controlar onde um novo share group começa a ler, configure share.auto.offset.reset no broker. - A filtragem de eventos oferece suporte a até cinco padrões de filtro por mapeamento de origem de eventos.
Preços e disponibilidade
O modo de consumo de fila está disponível em todas as Regiões da AWS em que os mapeamentos de origem de eventos do Lambda para Apache Kafka autogerenciado são suportados. O modo sob demanda não tem cobrança além das cobranças padrão de invocação do Lambda. O modo provisionado é cobrado com base no uso de EPU. Para mais detalhes, consulte Preços do AWS Lambda.
Conclusão
O modo de consumo de fila traz o processamento no estilo de fila para tópicos do Apache Kafka sem infraestrutura adicional e sem alterações nos seus produtores, na configuração dos tópicos ou no código da função. Ao substituir a atribuição exclusiva de partições por share groups, ele remove a contagem de partições como limite para o paralelismo e elimina o bloqueio head-of-line em cargas de trabalho baseadas em registros independentes.
Para começar, crie um mapeamento de origem de eventos com ConsumptionMode definido como Queue em um cluster Apache Kafka autogerenciado 4.2 ou posterior. Para detalhes de configuração, consulte Polling Kafka queue topics no AWS Lambda Developer Guide.
Para mais recursos de aprendizado sobre Serverless, visite o Serverless Land.
Este conteúdo foi traduzido da publicação original do blog, que pode ser encontrado aqui.
Biografia do Autores
![]() |
Vaibhav Jain é Senior Delivery Consultant na Amazon Web Services. |
![]() |
Hardith Murari é Delivery Consultant na Amazon Web Services. |
![]() |
Nihar Sheth é Principal Product Manager na Amazon Web Services.
|
Biografia do tradutores
![]() |
Daniel Abib é Arquiteto de Soluções Sênior e Especialista em Amazon Bedrock na AWS, com mais de 25 anos trabalhando com gerenciamento de projetos, arquiteturas de soluções escaláveis, desenvolvimento de sistemas e CI/CD, microsserviços, arquitetura Serverless & Containers e especialização em Machine Learning. Ele trabalha apoiando Startups, ajudando-os em sua jornada para a nuvem. https://www.linkedin.com/in/danielabib/ |
![]() |
Nicolas Tarzia é Senior Technical Account Manager na AWS, com mais de 13 anos de experiência, com ampla experiência em arquitetura cloud, engenharia e design de software. Atualmente está habilitando empresas do ramo de ISV (Independent Software Vendors) simplificando a operação na nuvem e otimizando os custos em cloud. Sua área de interesse são tecnologias serverless. https://www.linkedin.com/in/nicolastarzia |




