AWS Lambda ahora admite colas para Apache Kafka en orígenes de eventos de Kafka autoadministrados
AWS Lambda ahora admite colas para Apache Kafka en las asignaciones de orígenes de eventos de Kafka autoadministradas (ESM), tanto para los clústeres de Kafka que los clientes ejecutan por su cuenta como para ofertas administradas, como Confluent Cloud. Los clientes ahora pueden escalar el procesamiento de las cargas de trabajo de Kafka más allá del recuento de particiones de un tema, lo que aumenta el rendimiento durante los picos de tráfico y mejora la resiliencia del procesamiento.
Los clientes que crean cargas de trabajo de Kafka basadas en eventos para casos de uso como la codificación de imágenes y videos, la detección de fraudes, la entrega de notificaciones y la ingesta de telemetría tratan cada evento como una unidad de trabajo independiente, en la que la velocidad de procesamiento es más importante que el orden estricto. Anteriormente, las ESM de Kafka utilizaban el protocolo de grupo de consumidores de Kafka, que asigna cada partición a un único consumidor dentro de un grupo de consumidores. Los clientes que necesitaban un mayor paralelismo tenían que particionar en exceso los temas o trasladar el tráfico a un sistema de colas independiente, lo que implicaba operar más infraestructura y mantener código de productor adicional. La compatibilidad con colas para las ESM de Kafka autoadministradas se basa en los grupos compartidos de Kafka, que tienen disponibilidad general en Apache Kafka 4.2. Este lanzamiento permite que varios sondeadores de eventos consuman de forma simultánea desde la misma partición, y cada sondeador admite hasta 10 invocaciones simultáneas. Esto desacopla el paralelismo del recuento de particiones sin necesidad de realizar cambios en los productores, la configuración del tema ni el código de la función. Como resultado, los clientes obtienen un mayor rendimiento durante los picos de tráfico y un procesamiento más resiliente, ya que un evento lento o con errores ya no retrasa otros eventos de la misma partición. El modo de cola no conserva el orden de las particiones y está diseñado para cargas de trabajo que no lo requieren.
Esta capacidad requiere un clúster de Kafka con grupos compartidos habilitados, como Apache Kafka 4.2 o una versión posterior, y está disponible en todas las regiones comerciales de AWS en las que estén disponibles las ESM de Kafka autoadministradas. Como primer paso, cree una ESM de Kafka autoadministrada con ConsumptionMode establecido en Queue mediante la Consola de administración de AWS, la API de Lambda, la CLI de AWS, AWS CloudFormation, AWS SAM o AWS CDK. Se aplican los precios estándar de Lambda. Los clientes que configuran el modo aprovisionado para su ESM de Kafka autoadministrada también pagan por el uso de unidades de sondeo de eventos (EPU). Para obtener más información, consulte la Guía para desarrolladores de AWS Lambda y los precios de AWS Lambda.