整合的資料型錄

AWS Glue 資料型錄是您所有資料資產的持久性中繼資料存放區,無論資料位於何處。資料型錄包含表格定義、任務定義、結構描述和其他控制資訊,可協助您管理 AWS Glue 環境。它會自動運算統計值和註冊分割,以有效且經濟實惠的方式針對您的資料進行查詢。還會維護一份完整的結構描述版本歷史,讓您了解資料隨時間的變更情況。

自動探索結構描述

AWS Glue 網路爬取程式會連接到您的來源或目標資料存放區,依序處理已排定優先順序的分類器清單以判斷資料的結構描述,然後在 AWS Glue 資料型錄建立中繼資料。中繼資料存放在資料型錄的表格中,並在 ETL 任務的編寫程序使用。您可以依排程或隨需執行網路爬取程式,也可以根據事件觸發,以確保中繼資料是最新狀態。

視覺化 ETL 和程式碼產生

AWS Glue Studio 允許您編寫高度可擴展的 ETL 任務以進行分散式處理,而無須成為 Apache Spark 專家。在拖放任務編輯器中定義您的 ETL 程序,AWS Glue 則會自動產生程式碼以擷取、轉換和載入資料。此程式碼以 Scala 或 Python 產生,針對 Apache Spark 撰寫。

刪除重複資料

AWS Glue 可協助您清潔和準備資料以進行分析,而無須成為機器學習專家。其 FindMatches 功能可消除重複資料,並尋找彼此不完全相符的紀錄。例如,使用 FindMatches 在您的資料庫中尋找重複記錄,比方說,有一筆記錄列出地址為 “121 Main St.” 的 “Joe's Pizza”,另一筆記錄顯示 “Joseph's Pizzeria” 的地址為 “121 Main” 時。FindMatches 只會請您將一組記錄標記為 “matching” (相符) 或 “not matching” (不相符)。然後這個系統就會學習您的標準,將一組記錄稱為 “match” (比對相符),然後建置 ETL 任務,以用於尋找資料庫中的重複記錄,或在兩個資料庫間比對相符的記錄。

開發人員端點

如果您選擇以互動方式開發 ETL 程式碼,AWS Glue 會提供開發端點讓您編輯、偵錯和測試為您產生的程式碼。您可以使用自己偏好的 IDE 或筆記本。您可以撰寫自訂讀取程式、寫入程式或轉換,並將它們匯入 AWS Glue ETL 任務做為自訂程式庫。您也可以在我們的 GitHub 儲存庫使用並與其他開發人員共享程式碼。

彈性任務排程器

您可以依排程、隨需或根據事件叫用 AWS Glue 任務。您可以平行啟動多個任務,或指定任務間的相依性以建立複雜的 ETL 管道。AWS Glue 會處理所有任務間的相依性、篩選不良資料,並在任務失敗時重試。所有日誌和通知都會推送到 Amazon CloudWatch,讓您從一個集中的服務監控和取得提醒。

無伺服器串流 ETL

AWS Glue 中的無伺服器串流 ETL 任務持續取用包括 Amazon Kinesis 和 Amazon MSK 在內的串流來源中的資料,對資料進行即時清除和轉換,並使其在幾秒內即可用於在您的目標資料存放區中進行分析。使用這項功能處理 IoT 事件串流、點擊流和網路日誌等事件資料。AWS Glue 串流 ETL 任務可豐富和彙總資料,聯結批次和串流來源,以及執行各種複雜分析和機器學習操作。

自助式視覺化資料準備

AWS Glue DataBrew 為資料分析人員和資料科學家等使用者提供一個點按式互動視覺化界面,無需編寫程式碼即可清理和標準化資料。您可以直接從資料湖、資料倉儲和資料庫 (包括 Amazon S3、Amazon Redshift、Amazon Aurora 和 Amazon RDS) 輕鬆地視覺化、清理和標準化資料。您可以從 250 多種內建轉換中進行選擇,以合併、旋轉和轉置資料,並可透過直接將儲存的轉換套用於傳入的新資料,自動執行資料準備任務。

AWS Glue 定價
瀏覽定價頁面

探索 AWS Glue 的定價選項。

進一步了解 
註冊 AWS 帳戶
註冊免費帳戶

立即存取 AWS 免費方案。 

註冊 
開始在主控台進行建置
開始在主控台進行建置

開始在 AWS 管理主控台使用 AWS Glue 進行建置。

登入