Amazon Redshift で Apache Iceberg マテリアライズドビューの作成と更新のサポートを追加
Amazon Redshift で、Apache Iceberg マテリアライズドビューの作成と更新がサポートされるようになりました。マテリアライズドビューでは、コストのかかる結合と集計を一度事前に計算し、その結果を、AWS Glue データカタログに登録されている、Amazon S3 または Amazon S3 テーブルバケットの Apache Iceberg テーブルに保存します。マテリアライズドビューは、使い慣れた SQL (CREATE MATERIALIZED VIEW ...USING ICEBERG) を使用して作成します。結果は、Amazon Athena、Amazon EMR 上の Apache Spark、AWS Glue、Trino や Snowflake などのサードパーティエンジンなどの任意の Iceberg 互換エンジンで即座にクエリできます。Redshift は、手動の増分更新で変更された部分のみを再計算して最新の状態に保ちます。結果は Glue データカタログの Iceberg テーブルであるため、他のカタログテーブルと同様に管理および検出されます。
データチームは多くの場合、分析を段階的に構築し、さまざまなエンジンをつなぎ合わせて未加工データをクリーニングおよび変換してから、処理後のデータを提供します。これにより、パイプラインオーケストレーションのオーバーヘッドが追加され、エンジン間でセマンティックな違いが生じる可能性があります。Iceberg マテリアライズドビューは、2 つの点で価値をもたらします。まず、何百人ものユーザーやチームがコストのかかる同じ結合や集計を再実行したり、クエリのたびにソーステーブルを再スキャンしたりする代わりに、一度結果を計算すれば、全員が事前計算されたテーブルを読み取るだけで済みます。次に、Apache Spark や現在の Amazon Redshift などの単一のエンジンを使用してエンドツーエンドのパイプラインを実行できるため、複数のエンジンをオーケストレーションするオーバーヘッドなしで、すべてのダウンストリームのコンシューマーで同じオープンな結果を共有できます。いずれにしても、出力はオープンな Iceberg テーブルであり、コピーや変換を行うことなく任意のエンジンで読み取ることができます。これらのテーブルは、パフォーマンスが最も重視されるダッシュボードでは、ネイティブ RMS マテリアライズドビューとして Redshift マネージドストレージ (RMS) に読み込むことも可能です。
Iceberg マテリアライズドビューは、Redshift Serverless インスタンスおよびプロビジョニングされた Graviton インスタンスがサポートされている任意のリージョンで作成できます。詳細については、Amazon Redshift データベース開発者ガイドの Materialized views stored as Apache Iceberg tables、CREATE MATERIALIZED VIEW のコマンドリファレンス、ブログ投稿の Materialize once, query anywhere を参照してください。