Amazon Kinesis Data Streams がストリーミングテーブルを発表し、Amazon S3 Tables の Apache Iceberg テーブルへのデータ配信が可能に
Amazon Kinesis Data Streams では、Kinesis ストリームから Amazon S3 Tables に Apache Iceberg 形式でデータを継続的に配信する、完全サーバーレスの新機能であるストリーミングテーブルを導入しました。ストリーミングテーブルを使用すると、自己管理型の Iceberg 配信パイプラインを構築して運用する必要がなくなり、データ配信のコストを最大 50% 削減できます。インテリジェントなインラインコンパクションにより、スモールファイル問題が解消され、クエリパフォーマンスを予測可能な状態に保てます。これにより、後続のクエリのコストを最大 30% 削減できます。
Amazon Kinesis Data Streams は、サーバーレスストリーミングデータサービスであり、あらゆる規模のデータストリームを簡単にキャプチャ、処理、保存することを可能にします。最新のデータを使用したニアリアルタイム分析や AI/機械学習の特徴量パイプラインを実現するため、ストリーミングデータを Apache Iceberg テーブルに配信したいというニーズが高まっています。現在これを実現するには、カスタムパイプラインの構築と管理、形式変換の処理、コンピューティングインフラストラクチャの管理が必要であり、コストの増加につながっています。また、大量のストリーミングデータを取り込むと、小さな Parquet ファイルが多数生成され、後続のクエリのパフォーマンスが低下し、ストレージコストが増加します。ストリーミングテーブルを使用すれば、ストリーミングテーブルを作成するだけで済みます。これは、Kinesis ストリームから Amazon S3 Tables にデータを継続的に配信する、完全サーバーレスの機能です。インテリジェントなインラインコンパクションにより、小さなファイルによるパフォーマンスへの影響が解消され、データの鮮度を犠牲にすることなく、クエリパフォーマンスを予測可能な状態に保てます。Kinesis Data Streams では、スケーリング、再試行、コンパクション、配信の信頼性を自動的に処理し、数分以内に配信します。カスタムアプリケーションも、自己管理型のコンピューティングも、運用上のオーバーヘッドも必要ありません。ストリーミングテーブルは、コンソールから数回のクリックで統合された環境として設定できるほか、API で設定することもできます。
ストリーミングテーブルは、On Demand Advantage (ODA) および On Demand Standard (ODS) のキャパシティモードに対応しており、料金は使用量に基づきます。セットアップ料金や最低利用料金は発生しません。料金が発生するのは、配信に成功したデータの分だけです。ストリーミングテーブルは、AWS GovCloud (米国) および中国リージョンを含む、Amazon Kinesis Data Streams が利用可能なすべての AWS リージョンでご利用いただけます。使用を開始するには、Amazon Kinesis Data Streams ユーザーガイドと料金ページをご覧ください。