AWS Lambda がセルフマネージド Kafka イベントソースでの Apache Kafka 向けのキューのサポートを開始
AWS Lambda が、お客様が自ら運用する Kafka クラスターや、Confluent Cloud などのマネージドサービスに対して、セルフマネージド Kafka イベントソースマッピング (ESM) での Apache Kafka 向けのキューをサポートするようになりました。 お客様は、トピックのパーティション数を超えて Kafka ワークロードの処理をスケールできるようになりました。これにより、トラフィックが急増したときのスループットが向上し、処理の耐障害性が改善されます。
画像や動画のエンコーディング、不正検出、通知配信、テレメトリの取り込みなどのユースケース向けにイベント駆動型の Kafka ワークロードを構築しているお客様は、各イベントを独立した作業単位として扱います。このような場合には、厳密な順序付けよりも処理速度の方が重要になります。これまでは、Kafka ESM では Kafka コンシューマーグループプロトコルが使用されていました。このプロトコルでは、コンシューマーグループ内で各パーティションが必ず 1 つのコンシューマーに割り当てられます。そのため、より高度な並列処理を必要とするお客様は、トピックのパーティション数を過剰に増やすか、トラフィックを別個のキューイングシステムに移行するしかなく、結果として運用するインフラストラクチャや保守すべきプロデューサーのコードが増えていました。セルフマネージド Kafka ESM 向けのキューサポートは、Apache Kafka 4.2 で一般的提供されている Kafka 共有グループに基づいて構築されています。今回のリリースにより、複数のイベントポーラーが同じパーティションから同時にデータを消費できるようになり、各イベントポーラーは最大 10 件の同時呼び出しをサポートします。これにより、プロデューサー、トピックの設定、関数コードを変更することなく、並列処理をパーティション数から切り離すことができます。その結果、トラフィックが急増したときのスループットが向上するだけでなく、低速のイベントや失敗したイベントが同じパーティション内の他のイベントを停滞させることがなくなるため、処理の耐障害性も向上します。なおキューモードはパーティションの順序付けを保持しないため、順序付けを必要としないワークロードを対象としています。
この機能には、Apache Kafka 4.2 以降など、共有グループが有効になっている Kafka クラスターが必要です。また、セルフマネージド Kafka ESM が利用可能なすべての AWS 商用リージョンでご利用いただけます。利用を開始するには、AWS マネジメントコンソール、Lambda API、AWS CLI、AWS CloudFormation、AWS SAM、または AWS CDK を使用して、ConsumptionMode を Queue に設定したセルフマネージド Kafka ESM を作成します。Lambda の標準料金のみが適用されます。セルフマネージド Kafka ESM でプロビジョンドモードを設定したお客様には、イベントポーラーユニット (EPU) の使用料も発生します。詳細については、AWS Lambda デベロッパーガイドと AWS Lambda の料金表を参照してください。