Publicado en: Nov 9, 2023
AWS Lambda lanza las mejoras en el escalado automático para Amazon MSK y Apache Kafka autoadministrado como origen de eventos. Con este lanzamiento, los clientes ahora experimentarán un escalado más rápido y un rendimiento más uniforme al procesar los mensajes de Kafka con las funciones de Lambda.
La asignación de orígenes de eventos de Kafka ha sido una excelente opción para los clientes de Lambda que necesitan un consumidor de Kafka que pueda escalar horizontalmente sin afectar a otras cargas de trabajo. Sin embargo, los clientes que utilizaron la asignación de orígenes de eventos de Kafka observaron que la asignación de orígenes de eventos no se escalaba lo suficientemente rápido, lo que provocó un aumento de la latencia y un OffsetLag elevado. Estos problemas eran especialmente pronunciados en las cargas de trabajo en las que llegaba una gran cantidad de mensajes en ráfagas breves. Nuestras mejoras recientes abordan estos problemas al permitir que las asignaciones de orígenes de eventos de Kafka alcancen el rendimiento máximo hasta dos veces más rápido. Estos cambios reducirán los retrasos de procesamiento en muchas cargas de trabajo, y las mejoras más importantes se producirán en las cargas de trabajo sensibles a la latencia con grandes ráfagas de mensajes que llegan en intervalos irregulares.
Las mejoras de escalado automático de la asignación de orígenes de eventos de Kafka están disponibles de manera general en todas las regiones comerciales en las que se ofrecen AWS Lambda y Amazon MSK, excepto en China (Beijing), China (Ningxia) y las regiones de AWS GovCloud (EE. UU.). Para obtener más información sobre la disponibilidad, consulte la tabla de regiones de AWS.
Estas mejoras de escalado automático se aplican a las asignaciones de orígenes de eventos de Kafka nuevas y existentes. Consulte estas mejoras en acción en AWS Compute Blog. Para obtener más información, consulte la documentación de la asignación de orígenes de eventos de MSK y de Apache Kafka.