AWS Lambda теперь поддерживает очереди для Apache Kafka в самоуправляемых источниках событий Kafka

Проведено: 2 нояб. 2026 г.

AWS Lambda теперь поддерживает очереди для Apache Kafka в самоуправляемых сопоставлениях источников событий (ESM) Kafka, как для кластеров Kafka, которые клиенты запускают самостоятельно, так и для управляемых предложений, например Confluent Cloud. Это позволяет масштабировать рабочие нагрузки Kafka не только за счет количества разделов одной темы, что повышает пропускную способность при скачках трафика и устойчивость обработки.

Если клиент создает управляемые событиями рабочие нагрузки Kafka для таких вариантов использования, как кодирование изображений и видео, выявление мошенничества, доставка уведомлений и прием телеметрических данных, каждое событие является обособленной единицей работы и скорость ее обработки важнее строгой последовательности таких единиц. Ранее в ESM Kafka использовался протокол групп потребителей, в котором каждый раздел направляется для обработки ровно одному потребителю из группы. Если клиенту требовалась параллельная обработка, в теме приходилось выделять больше разделов или направлять трафик в отдельную систему очередей, что требовало создания дополнительной инфраструктуры и поддержки кода продюсера. Поддержка очередей для самоуправляемых ESM Kafka основывается на группах общего доступа Kafka, представленных в версии Apache Kafka 4.2. Это обновление позволяет нескольким модулям опроса событий использовать данные раздела одновременно, при этом каждый модуль поддерживает до 10 одновременных вызовов. Таким образом, параллельную обработку можно обеспечить, не изменяя количества разделов, конфигурации продюсеров, темы или функционального кода. В результате клиенты получают большую пропускную способность при скачках трафика и большую устойчивость обработки, поскольку событие, которое обрабатывается медленно или завершается неудачей, не препятствует обработке других событий в разделе. Режим очереди не сохраняет последовательность событий в разделе и предназначен для рабочих нагрузок, в которых она не важна.

Чтобы воспользоваться новой функцией, необходим кластер Kafka с включенными группами общего доступа, например Apache Kafka 4.2 или более поздней версии. Обновление доступно во всех коммерческих регионах AWS, где используется самоуправляемое сопоставление источников событий (ESM) Kafka. Для начала работы создайте самоуправляемое ESM Kafka через консоль управления AWS, API Lambda, интерфейс командной строки AWS, AWS CloudFormation, AWS SAM или AWS CDK. Режим ConsumptionMode установите как «Очередь». Применяются стандартные расценки Lambda. Клиенты, которые настраивают для самоуправляемого ESM Kafka режим с предварительным выделением ресурсов, также платят за использование единицы модуля опроса событий (EPU). Подробнее см. в Руководстве разработчика AWS Lambda и на странице цен AWS Lambda.