投稿日: Aug 17, 2022
AWS Lambda では、Amazon Managed Streaming for Apache Kafka (MSK) またはセルフマネージド Kafka をイベントソースとして使用する場合に、カスタムコンシューマーグループ ID をサポートするようになりました。Kafka では、コンシューマーグループ ID を使用してコンシューマーメンバーシップを識別し、コンシューマーチェックポイントを記録します。カスタムのコンシューマーグループ ID を使用すると、ディザスタリカバリやフェールオーバーのサポートを必要とするワークロードに最適に対応できます。
Lambda を使用すると、Kafka トピックからのイベントを大規模に簡単に使用できます。Lambda がトピックからの使用を開始すると、コンシューマーグループ ID が提示されます。これは常にランダムに生成された一意の値であり、Lambda がトピックに対する新しいグループコンシューマーとして識別され、指定された位置 (最新またはトリムホライズン) で処理が開始されるよう保証するものです。現在、コンシューマーグループ ID が指定されているため、Lambda を新しいコンシューマーグループとして識別する必要はありません。Kafka により Lambda が既存のコンシューマーグループとして識別されると、代わりに、Kafka で記録されたコンシューマーグループの中断箇所から、またはオフセットが有効でなくなった場合はトリムホライズンから、使用が開始されます。Apache MirrorMaker2 を使用している場合、ディザスタリカバリワークフローでは、Lambda をカスタムコンシューマーグループ ID と一緒に使用して、ミラーリングされた Kafka クラスターから処理を再開することができます。
AWS マネジメントコンソール、AWS CLI、AWS SAM、または AWS SDK for Lambda を介して、Amazon MSK および Self-Managed Kafka のカスタムコンシューマーグループ ID を開始できます。同機能は、AWS Lambda が利用可能なすべてのリージョンで、追加コストなしで使用できます。AWS Lambda を使用できるリージョンの詳細については、AWS リージョン表を参照してください。Lambda を使用した Apache Kafka のコンシューマーアプリケーションの構築については、Lambda デベロッパーガイド、および AWS のコンピューティングブログを参照してください。