O AWS Lambda agora oferece suporte a filas para o Apache Kafka em fontes de eventos autogerenciadas do Kafka
O AWS Lambda agora oferece suporte a filas para o Apache Kafka em mapeamentos da origem do evento autogerenciados (ESM) do Kafka, para clusters do Kafka que os próprios clientes administram e para ofertas gerenciadas, como o Confluent Cloud. Agora, os clientes podem escalar o processamento das workloads do Kafka além da contagem de partições de um tópico, aumentando o throughput durante picos de tráfego e melhorando a resiliência do processamento.
Os clientes que criam workloads do Kafka orientadas por eventos para casos de uso, como codificação de imagem e vídeo, detecção de fraudes, entrega de notificações e ingestão de telemetria, tratam cada evento como uma unidade de trabalho independente, na qual a velocidade de processamento é mais importante do que pedidos rigorosos. Antes, os ESMs do Kafka usavam o protocolo de grupo de consumidores Kafka, que atribui cada partição a exatamente um consumidor dentro de um grupo de consumidores. Os clientes que precisavam de maior paralelismo precisavam particionar tópicos em excesso ou mover o tráfego para um sistema de filas separado, adicionando infraestrutura para operar e produzir código para manter. O suporte a filas para ESMs autogerenciados do Kafka é baseado nos grupos de compartilhamento do Kafka, que geralmente estão disponíveis no Apache Kafka 4.2. Esse lançamento permite que vários pesquisadores de eventos consumam simultaneamente da mesma partição, com cada pesquisador de eventos suportando até 10 invocações simultâneas. Isso separa o paralelismo da contagem de partições sem alterações nos produtores, na configuração do tópico ou no código da função. Como resultado, os clientes obtêm maior throughput durante picos de tráfego e um processamento mais resiliente, porque um evento lento ou com falha não retém mais outros eventos na mesma partição. O modo de fila não preserva a ordem das partições e é destinado a workloads que não precisam dele.
Esse recurso requer um cluster Kafka com grupos de compartilhamento habilitados, como o Apache Kafka 4.2 ou posterior, e está disponível em todas as regiões comerciais da AWS em que o Kafka ESM autogerenciado está disponível. Para começar, crie um ESM do Kafka autogerenciado com o ConsumptionMode definido como Fila por meio do Console de Gerenciamento da AWS, da API Lambda, da CLI da AWS, do AWS CloudFormation, do AWS SAM ou do CDK da AWS. Os preços do Lambda padrão são aplicados. Os clientes que configuram o modo provisionado para seu ESM do Kafka autogerenciado também pagam pelo uso da Event Poller Unit (EPU). Para saber mais, consulte o guia do desenvolvedor do AWS Lambda e os preços do AWS Lambda.