В AWS Lambda улучшены возможности обработки ошибок для событий Kafka
В AWS Lambda реализованы расширенные возможности обработки ошибок для источников событий Управляемой потоковой передачи Amazon для Apache Kafka (MSK) и самоуправляемых источников событий Apache Kafka (SMK). Они позволяют создавать собственные конфигурации повторных попыток, оптимизировать повторную обработку сообщений с ошибками и отправлять завершившиеся сбоем события в тему Kafka, выбранную в качестве целевой на случай сбоя. Это дает клиентам возможность создавать отказоустойчивые рабочие нагрузки Kafka с надежными стратегиями обработки ошибок.
Клиенты используют сопоставления источников событий Kafka (ESM) со своими функциями Lambda для создания критически важных приложений Kafka. Kafka ESM обеспечивает надежную обработку событий, завершившихся сбоем, путем их повторного запуска с экспоненциальным замедлением и в случае неудачи сохраняет необработанные события в выделенных для этого ресурсах, таких как Amazon SQS, Amazon S3, Amazon SNS. При этом клиентам нужна возможность настройки обработки ошибок для соблюдения жестких требований, касающихся бизнес-логики и производительности. Благодаря этому запуску разработчики могут осуществлять точный контроль над обработкой сбойных событий и задействовать топики Kafka в качестве дополнительного целевого ресурса на случай сбоя при использовании выделенного режима для Kafka ESM. Теперь клиенты могут устанавливать лимиты по количеству и временные рамки для повторных попыток, автоматически отбрасывая ошибочные записи, превышающие эти ограничения, и перенося их в указанное клиентом место назначения. Кроме того, можно настроить автоматический перезапрос для ошибочных записей в пакете и доработать код функций, чтобы уведомлять об отдельных неудачных сообщениях, оптимизируя процесс повторных попыток.
Эта функция доступна во всех коммерческих регионах AWS, где предоставляется выделенный режим AWS Lambda для Kafka ESM.
Чтобы включить эти возможности, укажите параметры конфигурации Kafka ESM через API ESM, консоль AWS и интерфейс командной строки AWS. Подробную информацию см. в документации по ESM для Lambda, а также ознакомьтесь с ценами на AWS Lambda.