AWS Glue 宣佈適用於遠端 Apache Iceberg 目錄的目錄聯合功能
AWS Glue 宣佈正式推出適用於遠端 Iceberg 目錄的目錄聯合功能。此功能可直接安全地存取儲存在 Amazon S3 中,並使用 AWS 分析引擎在遠端目錄中編目的 Iceberg 資料表。
有了目錄聯合功能,您就能夠在無需移動或複製資料表的情況下,使用偏好的 AWS 分析引擎來聯合存取遠端 Iceberg 目錄,並查詢遠端 Iceberg 資料表。當資料團隊查詢遠端資料表時,該功能會在 AWS Glue Data Catalog 和遠端目錄中即時同步中繼資料,這意味著查詢結果會一律處於最新狀態。現在,您能夠於使用偏好的 AWS 分析引擎分析遠端 Iceberg 資料表時,為工作負載選擇最佳的價格與效能比,同時在探索或查詢資料時維持一致的安全控制。目錄聯合功能受到多種分析引擎支援,包括 Amazon Redshift、Amazon EMR、Amazon Athena、AWS Glue、Apache Spark 等第三方引擎,以及具備無伺服器筆記本的 Amazon SageMaker。
目錄聯合功能會使用 AWS Lake Formation 進行存取控制,使您得以在與其他資料取用者共用遠端目錄資料表時,使用精細的存取控制、跨帳戶共用以及受信任的身分傳播。目錄聯合功能與支援 Iceberg REST 規格的目錄實作整合。
您可在 Lake Formation 主控台中使用目錄聯合功能,也可透過 AWS Glue 和 Lake Formation SDK 和 API 使用。此功能已正式適用於提供 AWS Glue 和 Lake Formation 的所有 AWS 商業區域。只需在主控台中按幾下滑鼠,您就可以使用 AWS 分析引擎聯合存取遠端目錄、探索其資料庫和資料表、授與用於存取資料表資料的權限,以及查詢遠端 Iceberg 資料表。若要進一步了解,請瀏覽文件。