Обработка событий Kafka с низкой задержкой в AWS Lambda
AWS Lambda теперь поддерживает обработку событий Управляемой потоковой передачи Amazon для Apache Kafka (Amazon MSK) с низкой задержкой (менее 100 мс) и самоуправляемые источники событий Apache Kafka в режиме предоставления ресурсов по распределению для сопоставления источников событий (ESM) Kafka. Теперь клиенты могут установить для параметра MaximumBatchingWindowInSeconds значение 0 в конфигурации Kafka ESM, чтобы обрабатывать события Kafka в реальном времени. Данное усовершенствование значительно снижает совокупную задержку обработки для бизнес-приложений, которым необходима срочность.
Клиенты Kafka все чаще создают критически важные приложения, которым требуется стабильная совокупная задержка на уровне менее 100 мс для удовлетворения строгих бизнес-требований в различных отраслях. В качестве примеров можно привести финансовые компании, обрабатывающие потоки рыночных данных и совершающие алгоритмические сделки, платформы электронной коммерции, предоставляющие персонализированные рекомендации в реальном времени, и игровые компании, управляющие взаимодействием с игроками в реальном времени. С сегодняшним выпуском в Lambda появилась встроенная поддержка обработки событий с низкой задержкой и эффективной оптимизацией опроса и вызова событий Kafka, что позволяет клиентам создавать критически важные или чувствительные к задержкам приложения Kafka в Lambda. Если значение параметра MaximumBatchingWindowInSeconds равно 0, то Kafka ESM вызывает функцию с событиями Kafka сразу после завершения предыдущего вызова. В такой конфигурации совокупная задержка зависит исключительно от продолжительности выполнения функции, что может сделать задержку в среднем равной 50 мс для критически важных приложений реального времени.
Данная функция является общедоступной во всех коммерческих регионах AWS, где AWS Lambda поддерживает ESM для Kafka, за исключением следующих регионов: Израиль (Тель-Авив), Азиатско-Тихоокеанский регион (Малайзия) и Канада запад (Калгари).
Чтобы активировать обработку с низкой задержкой в Kafka ESM, задайте для параметра MaximumBatchingWindowInSeconds значение 0 и включите режим предоставления ресурсов по распределению для имеющегося или нового сопоставления Kafka ESM, используя API-интерфейс ESM, Консоль AWS, Интерфейс командной строки AWS (AWS CLI), пакет средств разработки ПО (SDK) AWS, AWS CloudFormation или Модель бессерверных приложений AWS (AWS SAM). Подробнее см. документацию по ESM для Lambda и цены на AWS Lambda.