AWS Lambda が Kafka イベント処理のエラー処理機能の強化を発表
AWS Lambda は、Amazon Managed Streaming for Apache Kafka (MSK) およびセルフマネージド Apache Kafka (SMK) イベントソース向けの強化されたエラー処理機能をリリースしました。この機能により、お客様はカスタムの再試行構成を構築したり、失敗したメッセージの再試行を最適化したり、失敗したイベントを障害発生時の宛先として Kafka トピックに送信したりできるため、堅牢なエラー処理戦略を備えた回復力のある Kafka ワークロードを構築できます。
お客様は Kafka イベントソースマッピング (ESM) を Lambda 関数と共に使用して、ミッションクリティカルな Kafka アプリケーションを構築できます。Kafka ESM は、エクスポネンシャルバックオフでイベントを再試行し、失敗したイベントを Amazon SQS、Amazon S3、Amazon SNS などの障害発生時の送信先に保持することで、失敗したイベントの堅牢なエラー処理を実現します。ただし、お客様は厳しいビジネス要件とパフォーマンス要件を満たすために、エラー処理のカスタマイズを必要としています。今回のリリースにより、開発者は失敗イベントの処理を正確に制御できるようになり、Kafka トピックを Kafka ESM のプロビジョンドモードを使用する際の障害発生時の追加の宛先として活用できるようになりました。お客様は特定の再試行制限と再試行の時間境界を定義できるようになり、これらの制限を超える失敗レコードは、お客様が指定した宛先に自動的に破棄されます。また、失敗レコードをバッチで自動的に再試行するように設定したり、失敗メッセージを個別に報告するように関数コードを拡張したりして、再試行プロセスを最適化できるようになりました。
この機能は、AWS Lambda の Kafka ESM 用プロビジョンドモードが利用可能なすべての AWS 商用リージョンで利用できます。
これらの機能を有効にするには、ESM API、AWS コンソール、AWS CLI で Kafka ESM の設定パラメータを指定します。詳細については、Lambda ESM のドキュメントおよび AWS Lambda の料金表をご覧ください。