Amazon MSK Express ブローカーが Apache Iceberg 向けストリーミングテーブルへのデータ配信に対応
Amazon MSK Express ブローカーが、Amazon S3 Tables 上で Apache Kafka トピックを Apache Iceberg テーブルとして継続的にマテリアライズする新機能である、Apache Iceberg 向けストリーミングテーブルへのデータ配信に対応しました。ストリーミングテーブルへの Amazon MSK データ配信により、セルフマネージドのデプロイと比較して、Amazon S3 Tables への Apache Kafka データの取り込みおよび配信コストを最大 60% 削減できるほか、後続のクエリコストを最大 30% 削減できます。
お客様は、不正検知やパーソナライズなどのユースケースでリアルタイムデータを取り込むために Apache Kafka に頼っており、ニアリアルタイム分析のためにそのデータを Apache Iceberg テーブルと統合したいという要望を強めています。しかし、この 2 つを統合するためには、複雑なカスタムパイプラインの運用、フォーマット変換の管理、さらにはスモールファイル問題 (大容量の取り込みによって無数の小さな Parquet ファイルが作成され後続のクエリ低下やコスト増加を招く) への対処を余儀なくされていました。この機能により、インテリジェントなインラインコンパクションが小規模ファイルによるパフォーマンスへの影響を排除し、データの鮮度を犠牲にすることなく予測可能なクエリパフォーマンスを維持します。同時に、組み込みの調整機能が高スループットなコンシューマー間における同時書き込みの競合を解決します。Amazon MSK は、Amazon S3 Tables 上の Apache Iceberg への配信において最大 10 GB/s のスループットをサポートします。また、このネイティブ機能は追加のブローカー出力スループットを消費しないため、お客様はコネクタパイプライン拡張時のインフラストラクチャコスト増大を回避し、キャパシティをピーク時ではなく実際の需要に合わせることができます。お客様はストリーミングテーブルにデータを配信し、Apache Spark、Trino、Apache Flink など、選択した任意のエンジンでデータをクエリまたは変換できます。
使用を開始するには、Amazon MSK コンソールを開いて Express クラスターを選択し、数回のクリックで機能を有効化します。または、MSK API または MCP サーバーを使用します。ストリーミングテーブルへの Amazon MSK データ配信は、現在、Amazon MSK Express ブローカーが提供されているすべての AWS リージョンでご利用いただけます。料金については、料金ページをご覧ください。詳細については、Amazon MSK デベロッパーガイドおよび Amazon MSK 用 AI スキルをご覧ください。