AWS Glue 5.1 簡介
AWS Glue 5.1 現已正式推出,能夠提供更好的效能、安全性更新、擴充的 Apache Iceberg 功能,以及針對資料整合工作負載的 AWS Lake Formation 寫入支援。
AWS Glue 是一種無伺服器、可擴展的資料整合服務,能夠讓您更輕鬆地探索、準備、移動和整合來自多個來源的資料。此版本將核心引擎升級為 Apache Spark 3.5.6、Python 3.11 和 Scala 2.12.18,能夠提供效能和安全性方面的增強功能。此版本同時更新對開放資料表格式庫的支援,包括 Apache Hudi 1.0.2、Apache Iceberg 1.10.0 和 Delta Lake 3.3.2。
AWS Glue 5.1 導入 Apache Iceberg 格式 3.0 版的支援,新增預設資料欄值、用於「讀取時合併」資料表的刪除向量、多引數轉換和資料列譜系追蹤。此版本還將 AWS Lake Formation 精細存取控制延伸至 Spark DataFrames 和 Spark SQL 的寫入作業 (DML 和 DDL)。先前,此功能僅能用於讀取作業。AWS Glue 5.1 還為 Apache Spark 中的 Apache Hudi 和 Delta Lake 資料表新增完整的資料表存取控制,能夠為您的資料提供更全面的安全性選項。
AWS Glue 5.1 適用於美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (奧勒岡)、歐洲 (愛爾蘭)、歐洲 (斯德哥爾摩)、歐洲 (法蘭克福)、歐洲 (西班牙)、亞太區域 (香港)、亞太地區 (新加坡)、亞太地區 (雪梨)、亞太地區 (東京)、亞太地區 (馬來西亞)、亞太區域 (泰國)、亞太地區 (孟買) 和南美洲 (聖保羅)。如需詳細資訊,請瀏覽 AWS Glue 文件。