Amazon Redshift 新增支援建立和重新整理 Apache Iceberg 具體化視觀表
Amazon Redshift 現在支援建立和重新整理 Apache Iceberg 具體化視觀表。具體化視觀表會預先運算一次成本高昂的聯結和彙總，並將結果儲存在 Amazon S3 或 Amazon S3 資料表儲存貯體中的 Apache Iceberg 資料表，且登錄於 AWS Glue Data Catalog。具體化視觀表是使用熟悉的 SQL 建立 ── CREATE MATERIALIZED VIEW ……USING ICEBERG，且結果可立即由任何 Iceberg 相容引擎查詢，包括 Amazon Athena、Amazon EMR 和 AWS Glue 上的 Apache Spark，以及 Trino 或 Snowflake 等第三方引擎。Redshift 會透過手動增量重新整理，僅重新運算已變更的部分，讓這些視觀表保持最新狀態；而由於結果是 Glue Data Catalog 中的 Iceberg 資料表，因此它們會像任何其他目錄資料表一樣受到治理和探索。
資料團隊通常會分階段建置分析，將不同的引擎拼湊在一起，以在提供服務前先清理和轉換原始資料。這會增加管道協同運作的額外負擔，並可能在引擎之間產生語意差異。Iceberg 具體化視觀表以兩種方式帶來價值。首先，不必讓數百位使用者和團隊每次查詢時都重新執行相同的昂貴聯結和彙總，並重新掃描來源資料表，您只要運算結果一次，所有人都能讀取預先運算好的資料表。其次，您可以使用單一引擎 (例如 Apache Spark，而現在還有 Amazon Redshift) 執行端對端管道，每個下游取用者都能共用相同的開放結果，而無須承擔協同運作多個引擎的額外負擔。無論採用哪種方式，輸出都是開放的 Iceberg 資料表，任何引擎都能讀取，無須複製或轉換。您仍可將這些資料表載入 Redshift Managed Storage (RMS)，做為原生 RMS 具體化視觀表，以支援您對效能最敏感的儀表板。
您可以在支援 Redshift Serverless 和已佈建 Graviton 執行個體的任何區域建立 Iceberg 具體化視觀表。若要深入瞭解，請參閱 Amazon Redshift Database Developer Guide 中的以 Apache Iceberg 資料表形式儲存的具體化視觀表、CREATE MATERIALIZED VIEW 命令參考，以及一次具體化，隨處查詢部落格文章。