張貼日期: Jan 16, 2020

AWS Glue 現在支援三種新的轉換 (清除、轉移和合併),可協助您在 Apache Spark 應用程式中延伸您的擷取、轉換和載入 (ETL) 邏輯。您可以使用「清除」轉換來移除檔案、分區或表格,並快速精簡您在 S3 上的資料集。

您可以使用「轉移」轉換來移轉檔案、分區或表格,以減少 S3 儲存類別。您也可以使用 AWS Glue S3 儲存類別排除從 Glue ETL 任務的特定 S3 儲存類別中排除正在讀取的檔案或分區。您可以使用「合併」轉換來結合多個 Glue 動態畫面,以根據主索引鍵呈現您在 S3、Redshift、Dynamo 或 JDBC 來源中的資料。若要進一步了解,請瀏覽清除轉移合併文件。

此功能在提供 AWS Glue 的所有區域皆可使用。