Publicado en: Aug 17, 2022
AWS Lambda ahora admite ID de grupos de consumidores personalizados cuando se utiliza Amazon Managed Streaming para Apache Kafka (MSK) o Kafka autoadministrado como fuentes de eventos. Kafka usa ID de grupos de consumidores para identificar la membresía de los consumidores y registrar los puntos de control de los consumidores. El uso de un ID de grupo de consumidores personalizado es ideal para clientes con cargas de trabajo que requieren recuperación de desastres o soporte en caso de conmutación por error.
Lambda facilita el consumo de eventos de Kafka Topics a escala. Cuando Lambda comienza a consumir de un tema, presenta un ID de grupo de consumidores, este siempre ha sido un valor único generado aleatoriamente que garantiza que Lambda se identificará como un nuevo consumidor de grupo para el tema y que el procesamiento comenzará en la posición especificada (Latest o Trim horizon). Ahora, con un ID de grupo de consumidores específico, Lambda no necesita identificarse como un nuevo grupo de consumidores. Cuando Kafka identifica a Lambda como un grupo de consumidores existente, el consumo comenzará desde donde Kafka registró que el grupo de consumidores dejó, o desde la posición “Trim horizon” si la compensación ya no es válida. En los flujos de trabajo de recuperación de desastres, los clientes que usan Apache MirrorMaker2 pueden usar Lambda con un ID de grupo de consumidores personalizado para reanudar el procesamiento desde un clúster de Kafka reflejado.
Puede comenzar con ID de grupos de consumidores personalizados para Amazon MSK y Kafka autoadministrado a través de la consola de administración de AWS, la CLI de AWS, SAM de AWS o el SDK de AWS para Lambda. Puede usarla sin costo adicional en todas las regiones donde AWS Lambda esté disponible. Para obtener más información sobre las regiones en las que AWS Lambda está disponible, consulte la tabla de regiones de AWS. Para obtener más información sobre cómo crear una aplicación de consumo de Apache Kafka con Lambda, lea la Guía para desarrolladores de Lambda y el Blog de computación de AWS.