投稿日: Nov 9, 2023
AWS Lambda は、イベントソースとしての Amazon MSK とセルフマネージド型 Apache Kafka で、自動スケーリングの改善の提供を開始しました。今回の提供により、Lambda 関数で Kafka メッセージを処理する際に、より高速なスケーリングとより安定したスループットを実現できます。
Kafka イベントソースマッピングは、Lambda を使用するお客様が、他のワークロードに影響を与えずに水平方向にスケールできる Kafka コンシューマーを必要とする場合に、最適な選択肢となってきました。しかし、Kafka イベントソースマッピングを使用するお客様の観察によれば、イベントソースマッピングのスケールアップ速度は十分ではなく、レイテンシーの増加と OffsetLag の上昇を招いていました。これらの問題は、多数のメッセージが突発的に到着するワークロードで特に顕著でした。最新の機能強化では、これらの問題に対処するため、Kafka イベントソースマッピングが最高で 2 倍の速さで最大スループットまで到達できるようになりました。この変更により、多くのワークロードでの処理遅延が軽減されます。最大の改善が見られるのは、メッセージの到着の大きな急増が不定期な間隔で発生する、レイテンシーの影響を受けやすいワークロードです。
Kafka イベントソースマッピングでの自動スケーリングの改善は、AWS Lambda と Amazon MSK が利用可能なすべての商用リージョンで一般提供されていますが、中国 (北京)、中国 (寧夏)、および AWS GovCloud (米国) リージョンは例外です。利用できるリージョンの詳細については、AWS リージョン表をご覧ください。
自動スケーリングの改善は、新規および既存の Kafka イベントソースマッピングに適用されます。これらの改善の実例については、AWS コンピューティングブログをご覧ください。詳細については、MSK イベントソースマッピングと Apache Kafka イベントソースマッピングのドキュメントを参照してください。