AWS Glue 常見問答集

問：什麼是 AWS Glue 資料型錄？

AWS Glue 資料型錄是集中化的資料儲存器，可存放所有資料資產的結構化和操作中繼資料。您可以存放特定資料集的表格定義、實體位置、新增商業相關屬性，以及追蹤這類資料如何隨著時間改變。

AWS Glue 資料型錄與 Apache Hive 中繼存放區相容，且是 Amazon EMR 上執行之大數據應用程式 Apache Hive 中繼存放區的便利替代方案。如需設定 EMR 叢集以使用 AWS Glue 資料型錄做為 Apache Hive 中繼存放區的詳細資訊，請按一下這裡。

AWS Glue 資料型錄還提供立即可用的 Amazon Athena、Amazon EMR 和 Amazon Redshift Spectrum 整合。將表格定義新增到 Glue 資料型錄之後，就可用來進行 ETL，也可在 Amazon Athena、Amazon EMR 和 Amazon Redshift Spectrum 中輕鬆查詢，讓您在這些服務之間以通用的方式檢視資料。

問：如何將中繼資料填入 AWS Glue 資料型錄？

AWS Glue 提供多種方式將中繼資料填入 AWS Glue 資料型錄。Glue 網路爬取程式可掃描您擁有的各種資料存放區，以自動推斷結構描述和分割結構，並將對應的表格定義和統計資料填入 Glue 資料型錄。您也可以將網路爬取程式排定為定期執行，讓您的中繼資料永遠保持最新狀態並與基礎資料保持同步。或者，使用 AWS Glue 主控台或呼叫 API 手動新增和更新表格詳細資訊。您也可以透過 Amazon Athena 主控台或 Amazon EMR 叢集的 Hive 用戶端執行 Hive DDL 陳述式。最後，如果您已經有持久性 Apache Hive 中繼存放區，可使用我們的匯入指令碼將該中繼資料大批匯入 AWS Glue 資料型錄。

問：什麼是 AWS Glue 網路爬取程式？

AWS Glue 網路爬取程式會連接到資料存放區，依序處理已排定優先順序的分類器清單以擷取資料的結構描述和其他統計資料，然後將此中繼資料填入 Glue 資料型錄。網路爬取程式可定期執行以偵測是否有可用的新資料以及表格定義變更等現有資料變更。網路爬取程式會自動新增表格、現有表格的新分區，以及新的表格定義版本。您可以自訂 Glue 網路爬取程式以分類自己的檔案類型。

問：如何將資料從現有的 Apache Hive 中繼存放區匯入 AWS Glue 資料型錄？

只要執行從 Apache Hive 中繼存放區讀取的 ETL 任務、將資料匯出成 Amazon S3 的中繼格式，然後將該資料匯入 AWS Glue 資料型錄即可。

問：如果將中繼資料存放在 AWS Glue 資料型錄，是否還需要保留 Apache Hive 中繼存放區？

否。AWS Glue 資料型錄與 Apache Hive 中繼存放區相容。您可以指向 Glue 資料型錄端點，然後使用它做為 Apache Hive 中繼存放區替代方案。如需如何設定叢集以使用 AWS Glue 資料型錄做為 Apache Hive 中繼存放區的詳細資訊，請參閱我們這裡的文件。

問：如果我已經使用 Amazon Athena 或 Amazon Redshift Spectrum，而且在 Amazon Athena 內部資料型錄中擁有表格，如何開始使用 AWS Glue 資料型錄做為通用中繼資料的資料儲存器？

開始使用 AWS Glue 資料型錄做為 Amazon Athena、Amazon Redshift Spectrum 和 AWS Glue 間通用中繼資料的資料儲存器之前，必須先將 Amazon Athena 資料型錄升級為 AWS Glue 資料型錄。請參閱這裡以取得升級所需的詳細步驟。

問：哪些分析服務會使用 AWS Glue 資料型錄？

存放在 AWS Glue 資料型錄的中繼資料可從 Glue ETL、Amazon Athena、Amazon EMR、Amazon Redshift Spectrum 及第三方服務輕鬆存取。

問：什麼是 AWS Glue 結構描述登錄檔？

AWS Glue 結構描述登錄檔是 AWS Glue 的一種無伺服器功能，讓您能夠使用以 Apache Avro 和 JSON 結構描述格式註冊的結構描述來驗證和控制串流資料的演變，而無需額外付費。透過 Apache 授權的序列化程式和還原序列化程式，結構描述登錄檔可與為 Apache Kafka、Amazon Managed Streaming for Apache Kafka (MSK)、Amazon Kinesis Data Streams、Apache Flink、Amazon Kinesis Data Analytics for Apache Flink 和 AWS Lambda 開發的 Java 應用程式整合。將資料串流應用程式與結構描述登錄檔整合後，您可以利用控管結構描述演變的相容性檢查，以提高資料品質並防止意外變更。此外，您可以使用登錄檔內儲存的 Apache Avro 結構描述建立或更新 AWS Glue 資料表和分區。

問：為何我應該使用 AWS Glue 結構描述登錄檔？

使用 AWS Glue 結構描述登錄檔，您可以：

1. 驗證結構描述。資料串流應用程式與 AWS Glue 結構描述登錄檔整合時，會根據中央登錄檔內的結構描述驗證用於資料生產的結構描述，可讓您集中控制資料品質。
2. 保障結構描述演進。您可以設定有關結構描述能夠/無法使用 8 個相容性模式之一演進的規則。
3. 提升資料品質。序列化程式會根據登錄檔中儲存的資料驗證資料生產程式所用的結構描述，並在產生資料時提升資料品質，並降低意外結構描述偏離帶來的下游問題。
4. 節省成本。序列化程式將資料轉換為二進位格式，且可在遞送前現壓縮，從而降低資料傳輸和儲存成本。
5. 提升處理效率。在許多情況下，資料串流包含不同資料結構的記錄。結構描述登錄檔可讓從資料串流讀取資料的應用程式根據結構描述選擇性地處理每筆記錄，而不必剖析其內容，因而提高處理效率。
   

問：AWS Glue 結構描述登錄檔支援哪些資料格式、用戶端語言及整合？

結構描述登錄檔支援 Apache Avro 和 JSON 結構描述資料格式和 Java 用戶端應用程式。我們計劃繼續擴展支援其他資料格式和非 Java 用戶端。結構描述登錄檔可與為 Apache Kafka、Amazon Managed Streaming for Apache Kafka (MSK)、Amazon Kinesis Data Streams、Apache Flink、Amazon Kinesis Data Analytics for Apache Flink 和 AWS Lambda 開發的應用程式整合。

問：AWS Glue 結構描述登錄檔支援哪類演進規則？

以下相容性模式可供您用來管理結構描述演進：Backward、Backward All、Forward, Forward All、Full、Full All、None 和 Disabled。請參閱結構描述登錄檔使用者文件，以進一步了解相容性規則。

問：AWS Glue 結構描述登錄檔如何保持我應用程式的高可用性？

結構描述登錄檔儲存和控制面板針對高可用性而設計，且受 AWS Glue SLA 支援，序列化程式和去序列化程式利用最佳實務快取技術，最大限度提升用戶端內的結構描述可用性。

問：AWS Glue 結構描述登錄檔是否為開放原始碼？

AWS Glue 結構描述登錄檔儲存是一種 AWS 服務，而序列化和去序列化程式為 Apache 授權的開放原始碼元件。

問：AWS Glue 結構描述登錄檔提供靜態和動態加密？

是，您的用戶端透過 API 叫用與結構描述登錄檔通訊，API 叫用透過 HTTPS 使用 TLS 加密來動態加密資料。 結構描述登錄檔中儲存的結構描述始終使用服務管理的 KMS 金鑰靜態加密。

問：我如何以私有方式連接至 AWS Glue 結構描述登錄檔？

您可以透過為 AWS Glue 定義界面 VPC 端點，來使用 AWS PrivateLink 將資料生產程式的 VPC 連接至 AWS Glue。使用 VPC 界面端點時，VPC 與 AWS Glue 之間的通訊將完全在 AWS 網路中安全地進行。如需詳細資訊，請瀏覽使用者文件。

問：我如何監控 AWS Glue 結構描述登錄檔使用情況？

AWS CloudWatch 指標是 CloudWatch 免費方案的一部分。您可以在 CloudWatch 主控台中存取這些指標。如需詳細資訊，請瀏覽 AWS Glue 結構描述登錄檔使用者文件。

問：AWS Glue 結構描述登錄檔是否提供用於管理使用者授權的工具？

是，結構描述登錄檔支援資源層級權限和基於身分的 IAM 政策。

問：我如何從現有結構描述登錄檔遷移至 AWS Glue 結構描述登錄檔？

有關從第三方結構描述登錄檔遷移至 AWS Glue 結構描述登錄檔的步驟，可參考使用者文件。

問：AWS Glue 是否具有適用於視覺化 ETL 的無程式碼界面？

是。AWS Glue Studio 提供用於編寫 Glue 任務以處理資料的圖形界面。在視覺化界面中定義資料來源、轉換和目標流程之後，AWS Glue Studio 會代您產生 Apache Spark 程式碼。

問：可使用哪些程式設計語言撰寫 AWS Glue 的 ETL 程式碼？

您可以使用 Scala 或 Python。

問：如何自訂 AWS Glue 產生的 ETL 程式碼？

AWS Glue 的 ETL 指令碼建議系統可產生 Scala 或 Python 程式碼。它利用 Glue 的自訂 ETL 程式庫簡化資料來源的存取和管理任務執行。您可以在我們的文件中了解更多有關程式庫的詳細資訊。您可以使用 AWS Glue 自訂程式庫撰寫 ETL 程式碼，或使用 AWS Glue 主控台指令碼編輯器的內嵌編輯，以 Scala 或 Python 撰寫任意程式碼，下載自動產生的程式碼，然後在自己的 IDE 進行編輯。您也可以使用 Github 資料儲存器託管的眾多範例，開始自訂程式碼。

問：是否可在 ETL 指令碼中匯入自訂程式庫？

是。您可以將自訂 Python 程式庫和 Jar 檔匯入 AWS Glue ETL 任務。如需詳細資訊，請參閱我們這裡的文件。

問：是否可使用我自己的程式碼？

是。您可以使用 AWS Glue ETL 程式庫撰寫自己的程式碼，或撰寫自己的 Scala 或 Python 程式碼並將其上傳到 Glue ETL 任務。如需詳細資訊，請參閱我們這裡的文件。

問：如何使用我自己的 IDE 開發 ETL 程式碼？

您可以建立並連接開發端點，以使用多種方法連接筆記本和 IDE。

問：如何使用 AWS Glue 中的多個任務建立端對端 ETL 工作流程？

除了 ETL 程式庫和程式碼產生，AWS Glue 還提供一組強大的協調功能，讓您管理多個任務間的相依性，以建立端對端 ETL 工作流程。AWS Glue ETL 任務可依排程或任務完成事件觸發。您可平行觸發多個任務，或根據任務完成事件依序觸發多個任務。也可從 AWS Lambda 函數等外部來源觸發一或多個 Glue 任務。

問：AWS Glue 如何監控相依性？

AWS Glue 使用觸發程式管理兩個以上任務之間的相依性或外部事件的相依性。觸發程式可監控一或多個任務，也可叫用一或多個任務。您可以使用定期叫用任務的已排程觸發程式、隨需觸發程式或任務完成觸發程式。

問：AWS Glue 如何處理 ETL 錯誤？

AWS Glue 會監控任務事件指標和錯誤，並將所有通知推送到 Amazon CloudWatch。使用 Amazon CloudWatch 可設定大量的動作，並根據 AWS Glue 的特定通知觸發這些動作。例如，您可以在收到來自 Glue 的錯誤或成功通知時觸發 AWS Lambda 函數。Glue 還會提供預設的重試行為，所有失敗重試三次之後才會傳送錯誤通知。

問：是否可在 AWS Glue 執行現有的 ETL 任務？

是。您可以在 AWS Glue 執行現有的 Scala 或 Python 程式碼。只要將程式碼上傳到 Amazon S3，然後建立使用該程式碼的一或多個任務即可。您可以將多個任務指向 Amazon S3 上的相同程式碼位置，就能在多個任務重複使用相同的程式碼。

問：如何使用 AWS Glue 來 ETL 串流資料？

AWS Glue 支援對 Amazon Kinesis Data Streams、Apache Kafka 及 Amazon MSK 串流執行 ETL。新增串流至 Glue 資料型錄，然後在設定 AWS Glue 任務時將其選擇為資料來源。

問：是否要同時使用 AWS Glue 資料型錄和 Glue ETL 才能使用此服務？

否。雖然我們相信同時使用 AWS Glue 資料型錄和 ETL 可提供端對端的 ETL 體驗，但您可以單獨使用其中一個，無須使用另一個。

問：AWS Glue 和 Amazon Kinesis Data Analytics 的使用時機分別為何？

AWS Glue 和 Amazon Kinesis Data Analytics 都可用來輕鬆處理串流資料。當您的使用案例主要是 ETL，且您想要在無伺服器 Apache Spark 型平台上執行任務時，建議使用 AWS Glue。當您的使用案例主要是分析，且想要在無伺服器 Apache Flink 型平台上執行任務時，建議使用 Amazon Kinesis Data Analytics。

AWS Glue 中的串流 ETL 使用與目前用於批次任務相同的無伺服器、按使用付費平台對串流資料進行進階 ETL。AWS Glue 在傳輸中產生可自訂 ETL 程式碼來準備您的資料，且具有內建功能可處理串流資料，這些資料已經過半結構化或擁有持續改進的結構描述。使用 Glue 將其內建和 Spark 原生轉換套用至資料串流，然後將其載入您的資料湖或資料倉儲。

Amazon Kinesis Data Analytics 可讓您建立複雜的串流應用程式來即時分析串流資料。其提供無伺服器 Apache Flink 執行階段，該執行階段無需伺服器即可自動擴展，且可持久儲存應用程式狀態。將 Amazon Kinesis Data Analytics 用於即時分析和更一般的串流資料處理。

問：AWS Glue 和 Amazon Kinesis Data Firehose 的使用時機分別為何？

AWS Glue 和 Amazon Kinesis Data Firehose 均可用於串流 ETL。建議將 AWS Glue 用於複雜的 ETL，包括聯結串流和在 Amazon S3 中根據資料內容分割輸出。如果您的使用案例主要為資料交付，並在交付後準備要處理的資料，則建議使用 Amazon Kinesis Data Firehose。

AWS Glue 中的串流 ETL 使用與目前用於批次任務相同的無伺服器、按使用付費平台對串流資料進行進階 ETL。AWS Glue 在傳輸中產生可自訂 ETL 程式碼來準備您的資料，且具有內建功能可處理串流資料，這些資料已經過半結構化或擁有持續改進的結構描述。使用 Glue 將複雜轉換套用至資料串流，使用來自其他串流和持久資料存放區的資訊豐富記錄，然後將記錄載入到您的資料湖或資料倉儲。

在 Amazon Kinesis Data Firehose 中進行 ETL 串流可讓您輕鬆擷取、轉換及交付串流資料。Amazon Kinesis Data Firehose 提供各種 ETL 功能，包括透過 AWS Lambda 進行無伺服器資料轉換和格式從 JSON 轉換為 Parquet。其中包括設計用於交付後輕鬆處理資料的 ETL 功能，但不包括 AWS Glue 支援的進階 ETL 功能。

問：FindMatches ML Transform 可解決哪種問題？

FindMatches 通常可解決「記錄連結」和「刪除重複資料」問題。當您嘗試識別資料庫中概念上「相同」的記錄，但有多筆不同記錄時，就必須執行「刪除重複資料」。如果可以藉由唯一索引鍵來識別重複的記錄 (例如，如果可以藉由 UPC 代碼來唯一識別產品)，這個問題就很簡單，但是當您必須進行「模糊比對」時，就會變得非常具有挑戰性。

就操作原理而言，「記錄連結」基本上與「刪除重複資料」是相同的問題，但是「記錄連結」這個詞彙通常意指您是在為兩個非共用唯一索引鍵的資料庫進行「模糊聯結」，而不是為單一資料庫刪除重複資料。舉例說明，試想將大型客戶資料庫與小型已知詐騙者資料庫進行比對的問題。針對記錄連結和刪除重複資料的問題，都可以使用 FindMatches 來處理。

例如，AWS Glue 的 FindMatches ML Transform 可協助您處理下列問題：

在都有包含共同欄位 (例如姓名、生日、住址、電話號碼等等) 的不同資料庫上使用 FindMatches，以連結醫院之間的病患記錄，讓醫生有更多的背景資訊，能夠為病患採取更有效的醫療措施。

針對包含「片名」、「情節概要」、「發行年份」、「片長」和「演員名單」等欄的電影資料庫刪除重複資料。例如，同一部電影可能會有《星際大戰》、《星際大戰：曙光乍現》和《星際大戰四部曲：曙光乍現 (特別版)》等不同名稱。

識別服裝產品目錄中的同等品項 (其中您想要將 “equivalent” (同等) 定義為忽略尺寸和顏色的差異，其為相同品項)，自動將店面所有相關產品集中在一起。因此，「Levi 501 藍色牛仔褲，尺寸 34x34」的定義為與「Levi 501 黑色牛仔褲，尺寸 32x31」相同。

問：AWS Glue 如何刪除我的重複資料？

AWS Glue 的 FindMatches ML Transform 可讓您輕鬆尋找並連結參照相同實體但不共用實際識別符的記錄。在 FindMatches 推出之前，開發人員通常會編寫大量手動調整的規則，才能放心解決資料比對問題。FindMatches 會在幕後使用機器學習演算法，學習如何根據每個開發人員自己的商業標準來比對記錄。FindMatches 會先識別客戶的記錄，以標記其是否相符，然後使用機器學習來建立 ML Transform。然後，客戶就可以在其資料庫上執行此 Transform (轉換)，以尋找相符的記錄，或者他們可以要求 FindMatches 提供額外的記錄來加註標籤，以提升其 ML Transform 的準確度。

問：什麼是 ML Transform？

ML Transform 提供一個目的地來建立及管理機器學習的轉換內容。在建立並訓練這些 ML Transform 之後，即可在標準 AWS Glue 指令碼中執行。客戶可選取特定演算法 (例如，FindMatches ML Transform)，並輸入資料集和訓練範例，以及該演算法所需的調整參數。AWS Glue 會使用這些輸入內容來建置可納入一般 ETL 任務工作流程中的 ML Transform。

問：ML Transforms 如何運作？

AWS Glue 包含特殊的 ML 型資料集轉換演算法，可供客戶用來建立自己的 ML Transform，其中包括刪除記錄的重複資料和尋找相符項目。

客戶一開始要瀏覽至主控台中的 ML Transforms 標籤 (或是透過 CLI 來使用 ML Transforms 服務端點或存取 ML Transforms 訓練)，建立自己的第一個 ML 轉換模型。ML Transforms 標籤提供使用者簡便的檢視方式來管理使用者的轉換項目。ML Transforms 需要來自其他轉換的不同工作流程需求，包括對於分開訓練、參數調整和執行工作流程的需求；對於預估所產生之轉換品質指標的需求；以及管理及收集其他事實標籤來進行訓練和主動學習的需求。

若要透過主控台來建立 ML 轉換，客戶要先選取轉換類型 (例如「刪除重複記錄」或「記錄比對」)，並提供先前在資料型錄中找到的適當資料來源。依據轉換內容，系統可能會要求客戶提供用於訓練的基本事實標籤資料或是其他參數。客戶可以監控訓練任務的狀態，以及檢視每項轉換的品質指標。(品質指標是使用客戶提供的一整組標籤資料集而產生。)

客戶如果滿意該效能，即可提升 ML Transforms 模型以用於正式生產作業。然後就可以在 ETL 工作流程中使用 ML Transforms (包括在服務自動產生的程式碼中，以及在隨著其他任務提交的使用者定義指令碼中)，類似在其他 AWS Glue 程式庫中提供的預建轉換。

問：我是否可以參閱有關使用 AWS Glue (和 AWS Lake Formation) 來尋找相符項目及刪除重複記錄的簡報？

答：可以，這裡有提供 AWS Online Tech Talk：Fuzzy Matching and Deduplicating Data with ML Transforms for AWS Lake Formation (使用 AWS Lake Formation 的 ML Transforms 進行模糊比對及刪除重複資料) 的完整錄音。

問：什麼是 AWS Glue DataBrew？

AWS Glue DataBrew 是一種視覺化資料準備工具，它讓資料分析師和資料科學家可以透過點按式的互動型視覺化界面輕鬆地準備資料，而無需編寫程式碼。借助 Glue DataBrew，您可以直接從資料湖、資料倉儲和資料庫 (包括 Amazon S3、Amazon Redshift、Amazon Aurora 和 Amazon RDS) 輕鬆地視覺化、清理和標準化數 TB 甚至數 PB 的資料。AWS Glue DataBrew 現已在美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (奧勒岡)、歐洲 (愛爾蘭)、歐洲 (法蘭克福) 和亞太區域 (雪梨) 和亞太區域 (東京) 正式上市 。 

問：誰可以使用 AWS Glue DataBrew？

AWS Glue DataBrew 專為需要清理和標準化資料以進行分析和機器學習的使用者而建置。資料分析師和資料科學家是主要使用者。需要進行資料分析的職業包括商業情報分析師、營運分析師、市場情報分析師、法律分析師、財務分析師、經濟學家、量化分析師或會計師等。利用資料科學的職業包括材料科學家、生物分析科學家和科學研究人員等。

問：AWS Glue DataBrew 支援哪些類型的轉換？

您可以從 250 多種內建轉換中進行選擇，以在不編寫程式碼的情況下合併、旋轉和轉置資料。AWS Glue DataBrew 還會自動建議轉換，例如篩選異常、更正無效、錯誤分類或重複的資料、將資料標準化為標準日期和時間值或產生彙總以進行分析。對於複雜的轉換，例如將字詞轉換為通用基詞或根詞，Glue DataBrew 提供了使用高級機器學習技術 (例如自然語言處理 (NLP)) 的轉換。您可以將多個轉換組合在一起，將它們另存為配方，然後將配方直接套用於新傳入的資料。

問：AWS Glue DataBrew 支援哪些檔案格式？

對於輸入資料，AWS Glue DataBrew 支援常用的檔案格式，例如逗號分隔值 (.csv)、JSON 和巢狀 JSON、Apache Parquet 和巢狀 Apache Parquet 以及 Excel 工作表。對於輸出資料，AWS Glue DataBrew 支援逗號分隔值 (.csv)、JSON、Apache Parquet、Apache Avro、Apache ORC 和 XML。

問：我可以免費試用 AWS Glue DataBrew 嗎？

可以。註冊一個 AWS 免費方案 帳戶，然後造訪 AWS Glue DataBrew 管理主控台，就可以免費開始使用了。如果您首次使用 Glue DataBrew，則前 40 個互動工作階段免費。請瀏覽 AWS Glue 定價頁面，進一步了解詳細資訊。

問：我需要使用 AWS Glue 資料型錄或 AWS Lake Formation 來使用 AWS Glue DataBrew 嗎？

不需要。您不使用 AWS Glue 資料型錄或 AWS Lake Formation 也可以使用 AWS Glue DataBrew。但是，如果您使用 AWS Glue 資料型錄或 AWS Lake Formation，則 DataBrew 使用者可以選取其集中式資料型錄中可用的資料集。

問：我可以保留對資料所做所有變更的記錄嗎？

可以。您可以在 AWS Glue DataBrew 管理主控台中以視覺化方式追蹤對資料所做的所有變更。視覺化檢視讓追蹤資料集、專案和配方以及所有其他關聯作業的變更和關係變得容易。此外，Glue DataBrew 會將所有帳戶活動作為日誌保留到 AWS CloudTrail 中。

 

什麼是 AWS Glue Elastic Views？

AWS Glue Elastic Views 可讓您輕鬆地建立具體化檢視，從而跨多個資料存放區合併與複寫資料，而無需撰寫自訂程式碼。藉由 AWS Glue Elastic Views，您可以使用熟悉的結構化查詢語言 (SQL) 從多種不同的來源資料存放區快速建立虛擬資料表 (具體化檢視)。AWS Glue Elastic Views 從每個來源資料存放區複製資料，並在目標資料存放區中建立副本。AWS Glue Elastic Views 繼續監控來源資料存放區中的資料變更，並自動提供目標資料存放區中具體化檢視的更新，確保透過具體化檢視存取的資料始終是最新的。AWS Glue Elastic Views 支援許多 AWS 資料庫和資料存放區，包括 Amazon DynamoDB、Amazon S3、Amazon Redshift 和 Amazon OpenSearch Service，隨後會支援Amazon RDS、Amazon Aurora 及其他存放區。AWS Glue Elastic Views 是無伺服器的，可自動根據需求擴展或縮減容量，因此，無需管理基礎設施。AWS Glue Elastic Views 今天提供預覽版。

為何我應使用 AWS Glue Elastic Views？

您應使用 AWS Glue Elastic Views 合併和近乎即時地持續跨多個資料存放區複寫資料。這在建立新應用程式功能時經常會出現，其中應用程式需要從一或多個現有資料存放區存取資料。例如，一家組織可能使用客戶關係管理 (CRM) 應用程式來追蹤其客戶聯絡人和電子商務網站，以進行線上銷售。這些應用程式將使用一或多個資料存放區來存放資訊。現在，該公司會建置了一個新的自訂應用程式，用於建立特殊優惠並對活躍的網站訪客顯示。為此，此應用程式會將來自 CRM 應用程式的客戶資訊與來自電子商務應用程式的網頁點擊流資料合併。使用 AWS Glue Elastic Views，開發人員三步即可建置新功能。首先，他們將 CRM 和電子商務應用程式資料存放區與 AWS Glue Elastic Views 相連。下一步，他們使用 SQL 從 CRM 和電子商務應用程式資料存放區選擇適當的資料。最後，他們連接自訂應用程式的資料存放區來儲存結果。

AWS Glue Elastic Views 如何與其他 AWS 服務搭配運作？

AWS Glue Elastic Views 可讓您連接至 AWS 中的多個資料存放區來源，並使用熟悉的 SQL 透過這些來源建立檢視。您可以將這些檢視具體化到目標資料存放區。例如，您可以建立多個檢視，以存取 Amazon Aurora 中的餐廳資訊和 Amazon DynamoDB 中的客戶評論，並將這些檢視具體化到 Amazon Redshift。然後，您可以在 Amazon Redshift 之上建置包含食物偏好和熱門餐廳的應用程式。此外，因為 AWS Glue Elastic Views 來源與目標分開，如果您已讀取大量應用程式，則可將讀取請求卸載至保留來源一致副本的 AWS Glue Elastic Views 目標。您可以使用 Amazon QuickSight 服務或類似 Tableau 的合作夥伴視覺化工具，在 AWS Glue Elastic Views 目標資料中視覺化資料。

我可以將 AWS Glue Elastic Views 用於操作和分析工作負載嗎？

是。藉由 AWS Glue Elastic Views，您可以近乎即時地在資料存放區之間複寫資料。這使高效能操作應用程式需要從多個資料存放區存取最新資料。AWS Glue Elastic Views 可讓您整合操作和分析系統，而無需建置和維護複雜的資料整合管道。使用 AWS Glue Elastic Views，您可以在營運資料庫中的資料上建立資料庫檢視，並在資料倉儲或資料湖中具體化這些檢視。AWS Glue Elastic Views 記錄您營運資料庫中的變更，並確保資料倉儲和資料湖中的資料保持同步。您現在可對最新的營運資料執行分析查詢。

AWS Glue Elastic Views 現在支援哪些來源和目標？

目前支援的預覽來源包括 Amazon DynamoDB，隨後會支援 Amazon Aurora MySQL、Amazon Aurora PostgreSQL、Amazon RDS for MySQL 以及 Amazon RDS for PostgreSQL。目前支援的目標包括：Amazon Redshift、Amazon S3 和 Amazon OpenSearch Service，隨後會支援 Amazon Aurora MySQL、Amazon Aurora PostgreSQL、Amazon RDS for MySQL 以及 Amazon RDS for PostgreSQL。

AWS Glue Elastic Views 如何與資料湖相關？

資料湖是 Amazon S3 中可擴展的集中式儲存庫，該儲存庫經過最佳化，可從一個位置存取多個不同資料存放區中的資料，以支援分析應用程式和查詢。資料湖允許跨組織的所有資料執行分析和機器學習，以提升業務洞見和決策制定。另一方面，AWS Glue Elastic Views 服務可讓您跨多個資料庫和 Amazon S3 資料湖合併與複寫資料。如果您正在建置應用程式功能，需要近乎即時地從一或多個現有資料存放區存取特定資料，AWS Glue Elastic Views 可讓您從多個資料存放區複寫資料並保持資料為最新狀態。您也可以透過在營運資料庫建立檢視並具體化到資料湖，來使用 AWS Glue Elastic Views 從營運資料庫載入資料到資料湖。

問：何時應該使用 AWS Glue？何時又該使用 AWS Data Pipeline？

AWS Glue 提供在無伺服器 Apache Spark 環境執行的受管 ETL 服務。這可讓您專注在 ETL 任務上，無須擔心設定和管理基礎運算資源。AWS Glue 採取資料優先方法，讓您專注在資料屬性和資料操作，將資料轉換成可衍生商業洞見的形式。它提供整合的資料型錄，可為 ETL 提供中繼資料，並透過 Amazon Athena 和 Amazon Redshift Spectrum 進行查詢。

AWS Data Pipeline 提供受管的協調服務，為執行環境、存取和控制執行程式碼的運算資源，以及處理資料的程式碼本身提供更大的彈性。AWS Data Pipeline 可啟動帳戶中的運算資源，讓您直接存取 Amazon EC2 執行個體或 Amazon EMR 叢集。

此外，AWS Glue ETL 任務以 Scala 或 Python 為基礎。如果您的使用案例需要使用 Apache Spark 以外的引擎，或者您想要執行在 Hive、Pig 等各種引擎上運作的一組異質任務，則 AWS Data Pipeline 是較好的選擇。

問：何時應該使用 AWS Glue？何時又該使用 Amazon EMR？

AWS Glue 在 Apache Spark 環境之上運作，可為您的資料轉換任務提供橫向擴展的執行環境。AWS Glue 透過推斷、演進和監控您的 ETL 任務，大幅簡化建立和維護任務的程序。Amazon EMR 可讓您直接存取 Hadoop 環境、提供較低層級的存取，以及使用 Spark 以外工具的較大彈性。

問：何時應該使用 AWS Glue？何時又該使用 AWS Database Migration Service？

AWS Database Migration Service (DMS) 協助您輕鬆安全地將資料庫遷移到 AWS。對於需要將資料庫從現場部署遷移到 AWS 或在現場部署來源和 AWS 來源間複寫資料庫的使用案例，建議您使用 AWS DMS。將資料放入 AWS 之後，可以使用 AWS Glue 將資料從資料來源移動、合併、複寫並轉換到其他資料庫或資料倉儲，像是 Amazon Redshift。

問：何時應該使用 AWS Glue？何時又該使用 AWS Batch？

無論任務的本質為何，AWS Batch 都能讓您輕鬆、有效率地在 AWS 上執行任何批次運算任務。AWS Batch 可在您的 AWS 帳戶建立和管理運算資源，提供您所用資源的完全控制和可見性。AWS Glue 是提供無伺服器 Apache Spark 環境供您執行 ETL 任務的全受管 ETL 服務。針對您的 ETL 使用案例，我們建議您使用 AWS Glue 探索。對於其他批次導向使用案例，包含部分 ETL 使用案例，AWS Batch 可能是更好的選擇。

問：AWS Glue 如何計費？

在 AWS Glue 資料型錄存放和存取中繼資料，超過 AWS Glue 資料型錄免費方案的部分需支付簡單的月費。網路爬取程式執行需支付以每秒計費的小時費率，以最少 10 分鐘起算。如果您選擇使用開發端點以互動的方式開發 ETL 程式碼，則必須依開發端點的佈建時間支付以每秒計費的小時費率，以最少 10 分鐘起算。此外，ETL 任務需支付以每秒計費的小時費率，並依照您選取的 Glue 版本，每個 ETL 任務以最少 1 分鐘或 10 分鐘起算。如需詳細資訊，請參閱我們的定價頁面。

問：AWS Glue 任務何時開始計費？何時結束計費？

排定任務的執行時間後立即開始計費，然後持續計費直到整個任務完成。使用 AWS Glue 只需支付任務執行時間的費用，環境佈建或停機時間不計費。

問：AWS Glue 如何保護資料的安全？

我們為靜態資料提供伺服器端加密，為動態資料提供 SSL。

問：AWS Glue 有哪些服務限制？

請參閱我們的文件進一步了解服務限制。

問：哪些區域提供 AWS Glue？

請參閱 AWS 區域表，了解 AWS Glue 服務在不同區域的可用性詳細資訊。

問：在開發端點分配多少個 DPU (資料處理單位)？

預設會在開發端點佈建 5 個 DPU。您可以將開發端點設定為最少 2 個 DPU 和最多 5 個 DPU。

問：如何擴展 AWS Glue ETL 任務的大小和效能？

只要指定您想要在 ETL 任務分配的 DPU (資料處理單位) 數量即可。一個 Glue ETL 任務至少需要 2 個 DPU。AWS Glue 預設會為每個 ETL 任務分配 10 個 DPU。

問：如何監控 AWS Glue 任務的執行？

AWS Glue 會提供每個任務的狀態，並將所有通知推送到 Amazon CloudWatch。您可以透過 CloudWatch 動作設定 SNS 通知，以接收任務失敗或完成的相關資訊。

問：AWS Glue SLA 提供哪些保證？

我們的 AWS Glue SLA 可保證 AWS Glue 的每月正常執行時間百分比至少可達 99.9%。

問：如何知道自己是否符合 SLA 服務抵扣的資格？

根據 AWS Glue SLA，如果您在一個以上可用區域執行任務，而同一個區域任一個月帳單週期內的每月正常執行時間百分比低於 99.9%，您就符合 AWS Glue 的 SLA 抵扣資格。

如需 SLA 所有條款與條件的完整詳細資訊，以及如何提交索賠的詳細資訊，請參閱 AWS Glue SLA 詳細資訊頁面。