Amazon MSK Replicator、双方向レプリケーションにおけるコンシューマーオフセット同期機能の強化をサポート
Amazon MSK Replicator では、双方向レプリケーションのコンシューマーオフセット同期機能が強化され、アプリケーションが Kafka クラスター間を移動しても正しい位置から処理を再開できるようになりました。この機能により、データ損失のリスクなしに、プロデューサーアプリケーションとコンシューマーアプリケーションをクラスター間で個別に、任意の順序で移動できます。
MSK Replicator は Amazon MSK の機能の 1 つで、Kafka クラスター間のデータレプリケーションを自動化します。これにより、カスタムレプリケーションインフラストラクチャを管理したり、オープンソースツールを設定したりする必要がなくなります。以前は、MSK Replicator を使用して双方向にレプリケートする場合、コンシューマーグループオフセットは、プロデューサーとコンシューマーが同じクラスター上でアクティブな場合にのみ同期されていました。そのため、クラスター間のアプリケーション移行の順序を慎重に行う必要があり、ロールバック中に重複メッセージ処理が発生するリスクが高まっていました。 今回のリリースにより、MSK Replicator は、プロデューサーの実行場所に関係なく、ソースクラスターとターゲットクラスター間でコンシューマーグループオフセットを同期します。これにより、アプリケーションは調整の制約やデータ重複のリスクなしにクラスター間を移動できます。
Amazon MSK コンソール、AWS CLI、または AWS CloudFormation を使用して Replicator を作成する際に、コンシューマーオフセット同期機能の拡張を有効にできます。この機能は、MSK Replicator が利用可能なすべての AWS リージョンでサポートされています。
詳細については、MSK Replicator のドキュメント、製品ページ、料金ページ、およびこちらの AWS ブログ投稿をご覧ください。