可以在下一代 Amazon SageMaker 中存取 AWS Glue

AWS Glue

發現、準備和整合任何規模的所有資料

開始使用 AWS Glue

進一步了解 AWS 資料整合

為什麼選擇 AWS Glue？

準備您的資料以取得高品質結果是分析或 ML 專案的第一步。AWS Glue 是一項無伺服器資料整合服務，可使資料準備變得更簡單、快速而且實惠。您可以發現並連線到超過 100 個不同的資料來源，在集中式資料型錄中管理您的資料，並且以視覺方式建立、執行與監控 ETL 管道，將資料載入到您的資料湖。藉助內建的生成式 AI 功能，您可透過 ETL 編寫和 Spark 故障診斷的智慧協助，來現代化 Spark 任務並加速開發。

AWS Glue 簡介 (01:54)

AWS Glue 的優勢

支援所有工作負載

靈活支援 ETL、ELT、批次、串流等，無須鎖定

隨需擴展

PB 級的依用量計費，適用於任何資料大小

量身打造的工具

支援從開發人員到商業使用者的所有資料使用者

生成式 AI 協助

在整個資料整合之旅中取得 AI 支援的協助 — 從自動產生 ETL 程式碼到現代化您的 Spark 任務。AWS Glue 提供智慧程式碼產生、AI 輔助 Spark 升級 (預覽版) 以及內建 Spark 疑難排解 (預覽版)。

多合一

一個無伺服器服務提供完整的資料整合功能

運作方式

AWS Glue 是一種無伺服器、可擴展的資料整合服務，可讓您更輕鬆地探索、準備、移動和整合來自多個來源的資料，以進行分析、機器學習 (ML) 和應用程式開發。

資料整合引擎選項
在 AWS Glue 中選擇您偏好的資料整合引擎，來為您的使用者和工作負載提供支援。

該圖顯示了 AWS Glue 使用者如何從介面選項中進行選擇，以使用多個資料整合引擎來建立任務工作負載。四個部分顯示：一個在左側，兩個在中間，一個在右側。

左側的第一部分稱為「資料來源」。它包括以下資料來源：「Amazon S3」、「Amazon DynamoDB」、「在 Amazon EC2 上執行的資料庫」、「資料庫」和「SaaS」。

從第一部分開始，有一個箭頭指向圖表頂部的中間部分，稱為「介面選項」。第二部分包含三個項目：「AWS Glue Studio」、「Amazon SageMaker 筆記本」和「筆記本和 IDE」。

在第二部分下方，有一段文字說明「開放介面支援互動和任務工作負載」。此文字包含指向其上方先前描述的第二部分的箭頭，以及指向其下方第三部分的箭頭。

第三部分稱為「資料整合引擎」。文字說明「選擇偏好的無伺服器、可擴展資料處理引擎，且具有自動擴展和依用量計費定價。」這個部分包括三個引擎名稱：「AWS Glue for Ray」、「AWS Glue for Python Shell」和「AWS Glue for Apache Spark」。

第四部分顯示在第二部分的右側，箭頭從第二部分指向第四部分。第四部分說明「建立資料並將其載入資料湖和資料倉儲。」這個部分也包括三個項目：「Amazon Redshift」、「資料湖」和「資料倉儲」。

按一下以放大
事件驅動的 ETL
AWS Glue 可在新資料到達時執行擷取、轉換和載入 (ETL) 任務。例如，您可以設定 AWS Glue 在 Amazon Simple Storage Service (S3) 上的新資料變得可用時立即開始執行您的 ETL 任務。
AWS Glue Data Catalog
您可以使用資料型錄快速探索和搜尋多個 AWS 資料集，而無需移動資料。資料編入型錄之後，即可使用 Amazon Athena、Amazon EMR 和 Amazon Redshift Spectrum 搜尋和查詢。
無程式碼 ETL 任務
AWS Glue Studio 讓您可以更輕鬆地以視覺化方式建立、執行和監控 AWS Glue ETL 任務。您可以建置 ETL 任務，該任務可使用拖放編輯器移動和轉換資料，而 AWS Glue 可自動產生程式碼。
管理和監控資料品質
AWS Glue Data Quality 可自動建立、管理和監控資料品質規則，以協助確保跨資料湖和管道的高品質資料。

該圖表顯示如何使用 AWS Glue Data Quality 來建立規則建議、監控資料品質，以及在資料品質下降時傳送提醒。三個部分從左到右顯示。

第一部分說明 AWS Glue Data Catalog 和 AWS Glue ETL。在 AWS Glue Data Catalog 下，說明「對資料湖中的所有資料集進行編目。」在 AWS Glue ETL 下，說明「整合和轉換來自不同資料來源的資料。」

第二部分標題為「AWS Glue Data Quality」。這個部分包含三個圖示。第一個是檢查清單。在其下方說明「資料品質規則建議。藉助自動資料品質規則建議快速開始使用。」第二個圖示是一支鉛筆。在其下方說明「預先設定的資料品質規則。使用預先設定的資料品質規則來編輯或增加建議。」第三個圖示是鈴鐺。在其下方說明「提醒和動作。新增提醒和動作以在資料品質下降時執行。」

第三部分有兩個堆疊的圖示。第一個圖標是條形圖。在其下方說明「指標。使用資料品質指標做出自信的業務決策。」第二個圖示是警告標誌。在其下方說明「提醒。使用提醒在品質下降時收到通知，並採取措施修復資料。」

按一下以放大
資料準備
藉助 AWS Glue DataBrew，您可以探索和試驗直接來自資料湖、資料倉儲和資料庫的資料，包括 Amazon S3、Amazon Redshift、AWS Lake Formation、Amazon Aurora 和 Amazon Relational Database Service (RDS)。您可以從 DataBrew 中 250 多個預先建置的轉換中進行選擇，以自動化資料準備任務，例如篩選異常、標準化格式和更正無效值。

此外，AWS Glue Studio 還提供資料準備工具，可讓您透過互動式的點按式視覺化介面來準備資料，而無需編寫程式碼。

使用案例

支援多種不同的處理架構和工作負載

More easily support various data processing frameworks, such as ETL and ELT, and various workloads, including batch, micro-batch, and streaming.

進一步了解如何串流 ETL 作業

簡化 ETL 管道管理

透過自動佈建和工作者管理免除掉基礎設施管理，並將您的所有資料整合需求併入單一裝置中。

進一步了解 AWS Glue Auto Scaling

以互動方式探索、試驗及處理資料

Using AWS Glue interactive sessions, data engineers can interactively explore and prepare data using the integrated development environment (IDE) or notebook of their choice.

進一步了解 AWS Glue 互動式工作階段

有效探索資料

Quickly identify data across AWS, on premises, and other clouds, and then make it instantly available for querying and transforming.

進一步了解 AWS Glue Data Catalog

最新消息

找不到結果

1 …

…

開始使用 Glue

免費試用 AWS Glue

使用 AWS Glue 進行建置

整合您的資料

探索開發人員指南

找到今天所需的資訊了嗎？

讓我們知道，以便我們改善頁面內容的品質。

探索更多 AWS 服務