MSK Replicator が外部 Apache Kafka クラスターから MSK Express ブローカーへのレプリケーションをサポート
Amazon MSK Replicator は、オンプレミス、AWS でセルフマネージド、またはその他のクラウドプロバイダーを含む外部 Apache Kafka クラスターから Amazon MSK Express ブローカーへのデータレプリケーションをサポートするようになりました。 この機能により、ワークロードの MSK Express ブローカーへの移行が簡素化され、MSK Express ベースのクラスターをフェイルオーバーまたはバックアップターゲットとして使用することでディザスタリカバリをサポートし、ハイブリッド環境およびマルチクラウド環境へのデータ分散が可能になります。
MSK Replicator は Amazon MSK の機能の 1 つで、Kafka クラスター間のデータレプリケーションを自動化します。これにより、カスタムレプリケーションインフラストラクチャを管理したり、オープンソースツールを設定したりする必要がなくなります。MSK Express ブローカーは、Apache Kafka を実行している標準ブローカーと比較して、ブローカーあたり最大 3 倍のスループットを提供し、最大 20 倍速くスケールアップし、復旧時間を 10 分の 1 に短縮するように設計されています。今回のリリースにより、MSK Replicator を使用して、外部の Kafka クラスターから Amazon MSK 上の Express ブローカーへデータをレプリケートできるようになりました。また、MSK Replicator を使用して Amazon MSK Express から外部の Kafka クラスターにデータをレプリケートすることで、信頼性の高いフェイルバックやマルチクラウドデータ配信を実現することもできます。セルフマネージド型のレプリケーションツールとは異なり、MSK Replicator では、レプリケーション中に元の Kafka トピック名を保持しつつ、無限のレプリケーションループを自動的に回避します。さらに、コンシューマーグループのオフセットを双方向に同期するため、調整の制約やデータ損失のリスクなしに、プロデューサーとコンシューマーを任意の順序で、クラスター間で独立して移動できます。
この新機能は、MSK Express ブローカーが利用できるすべての AWS リージョンでサポートされています。
動作を確認するには、YouTube のデモをご覧ください。詳細については、MSK Replicator のドキュメント、製品ページ、料金ページ、およびこちらの AWS ブログ投稿をご覧ください。