Amazon Redshift 現在支援 Apache Iceberg 資料表的 Just-In-Time (JIT) ANALYZE
Amazon Redshift 今日宣佈正式推出 Apache Iceberg 資料表的 Just-In-Time (JIT) ANALYZE,讓使用者得以在 Redshift 資料湖中的 Apache Iceberg 資料表上執行高效能讀取和寫入分析查詢。許多客戶會使用 Apache Iceberg 開放表格格式,針對儲存在資料湖中迅速擴展且不斷演變的資料表簡化處理程序。
與傳統資料倉儲不同,資料湖通常缺乏關於基礎資料的完整資料表層級和資料欄層級統計資料,因此查詢引擎在缺乏資料表和資料欄統計資料的情況下,會難以選擇最佳的查詢執行計劃。不佳的查詢執行計劃,可能會使效能變得較差且較不可預測。
“JIT ANALYZE” 是一項全新的 Amazon Redshift 功能,可在查詢執行期間自動收集並利用 Iceberg 資料表的統計資料,從而消除手動收集統計資料的必要,同時為查詢引擎提供產生最佳查詢執行計劃所需的資訊。系統會使用智慧型啟發法來識別將從統計資料中受益的查詢、維護輕量化的 Sketch 資料結構,以及建置高品質的資料表層級和資料欄層級統計資料。JIT ANALYZE 能夠以「立即可用」的方式,提供與具有預先計算統計資料之查詢相同的效能,同時為許多其他效能最佳化提供基礎。
Apache Iceberg 資料表的 Amazon Redshift JIT 分析功能現已適用於提供 Amazon Redshift 的所有 AWS 區域。使用者無需進行任何變更或啟用任何設定,即可運用這項新的資料湖查詢最佳化。若要開始使用,請瀏覽 Amazon Redshift 管理指南的文件頁面。