Amazon MSK Express ブローカーが Amazon S3 への Apache Kafka データの配信に対応
Amazon MSK Express ブローカーが、Amazon S3 汎用バケットへのデータ配信に対応しました。これにより、後続の処理に向けて Amazon S3 に Apache Kafka データを最も簡単かつ最も信頼性の高い方法で届けるフルマネージド機能が提供されるようになりました。この機能は自動的にスケールされ、ミッションクリティカルなワークロードに対してもエンドツーエンドの信頼性を保ちながら、高スループットな Kafka データを S3 へ配信します。また、セルフマネージドの代替手段と比較して、データ取り込みおよび配信コストを最大 60% 削減します。
お客様は、ログのアーカイブ、コンプライアンス目的のデータ保持、Kafka のリプレイ、AI/機械学習モデルの学習などのユースケースにおいて、Apache Kafka データを Amazon S3 に配信しています。しかし、従来のパイプライン構築ではセルフマネージドなコネクタが使われることが多く、ワークロードの拡大に伴いコストがかさみ運用が複雑化していました。そのため開発チームは、S3 コネクタ用プラグインの開発や調達、デプロイのための承認獲得、継続的なキャパシティ拡張、さらには多数のコネクタ群へのセキュリティアップデート適用に追われていました。今回の機能追加により、MSK Express がスケーリング、再試行、およびバックプレッシャーを自動的に処理するため、お客様はコネクタ群の管理やチーム間の調整を行う必要がなくなります。MSK Express は、Amazon S3 へのデータ配信において最大 10 GB/s のスループットをサポートしており、データ配信の中断を生じさせることなく、キャパシティのスケーリングやバージョンアップグレードなどの日常的な運用業務を自動管理します。さらに、お客様は追加のブローカー出力スループットをプロビジョニングすることなくこの配信機能を追加できるため、コネクタベースのパイプライン拡張時に通常発生するインフラストラクチャの追加コストを削減できます。これにより、ピーク時に合わせた余分なプロビジョニングを行う代わりに、実際のワークロード需要に合わせて配信規模を調整できるようになり、運用上のオーバーヘッドを排除しコストを抑えながら、Amazon S3 への信頼性の高い高スループット配信を達成できます。
Amazon S3 への Amazon MSK データ配信は、現在、Amazon MSK Express ブローカーが提供されているすべての AWS リージョンでご利用いただけます。料金については、料金ページをご覧ください。詳細については、Amazon MSK デベロッパーガイドおよび Amazon MSK 用 AI スキルをご覧ください。