Publicado: Aug 17, 2022
Agora, o AWS Lambda oferece suporte a IDs de grupos de consumidores personalizados durante o uso do Amazon Managed Streaming for Apache Kafka (MSK) ou do Kafka autogerenciado como origem de eventos. O Kafka usa IDs de grupos de consumidores para identificar a associação e registrar pontos de verificação de consumidores. O uso de um ID de grupo de consumidores personalizado é ideal para clientes com workloads que exigem suporte à recuperação de desastres ou failover.
O Lambda facilita o consumo de eventos do Kafka Topics em grande escala. Quando o Lambda começa a consumir um tópico, apresenta um ID de grupo de consumidores. Esse ID era um valor único gerado aleatoriamente que garantia a identificação do Lambda como um novo grupo de consumidores do tópico e o início do processamento na posição especificada (mais recente ou trim horizon). Agora, com um ID de grupo de consumidores especificado, o Lambda não precisa ser identificado como um novo grupo de consumidores. Quando o Kafka identifica o Lambda como um grupo de consumidores existente, o consumo inicia na última posição do grupo de consumidores registrada pelo Kafka ou no trim horizon, caso o deslocamento não seja mais válido. Em fluxos de trabalho de recuperação de desastres, clientes que utilizam o Apache MirrorMaker2 podem usar o Lambda com um ID de grupo de consumidores personalizado para retomar o processamento em um cluster espelhado do Kafka.
Você pode começar a usar IDs de grupos de consumidores personalizados para Amazon MSK e Kafka autogerenciado no Console de Gerenciamento da AWS, na AWS CLI, no AWS SAM ou no AWS SDK para Lambda. O novo recurso pode ser usado sem custo adicional em todas as regiões em que o AWS Lambda está disponível. Para obter mais informações sobre onde o AWS Lambda está disponível, consulte a tabela de regiões da AWS. Para saber mais sobre como criar uma aplicação de consumidor do Apache Kafka usando o Lambda, leia o Guia do desenvolvedor do Lambda e o Blog de computação da AWS.