與 AWS 進行資料整合

您的資料來源廣泛，格式多樣，包括第三方託管應用程式、內部部署資料存放區和營運資料存放區。AWS 服務可連線至數百個資料來源，包括第三方軟體即服務 (SaaS)、內部部署和其他雲端。只要將資料連接或移動到資料湖、倉儲和資料庫中，就能在整個組織內安全地使用這些資料。

AWS Glue 是眾多 AWS 資料整合服務之一，它將主要資料整合功能整合到一起，包括資料探索、擷取、轉換和載入 (ETL)、清理、轉換和集中式編目。它是無伺服器服務，可根據需要自動佈建和管理工作人員。

AWS 提供的工具可滿足資料工程師、ETL 開發人員和業務分析師的需求，協助各種技術水準的使用者以互動的方式探索和處理資料。您可以使用 AWS Glue Studio 中的拖放介面以視覺化方式轉換資料、使用資料準備工具 AWS Glue DataBrew 清理和標準化資料，以及使用您偏好的整合式開發環境 (IDE) 或筆記型電腦測試資料。

通常，組織必須支持各種資料處理架構，例如 ETL、反向 ETL 和擷取、載入和轉換 (ELT)，以及批次、微批次和串流等各不相同的工作負載。AWS 為所有架構和工作負載提供靈活的支援，並利用開放原始碼標準來實現可攜性。

AWS 可協助您從儲存資料的任何地方存取和整合資料，讓資料整合團隊專注於高價值活動，以儘可能發揮資料的最大價值。

AWS Glue 能讓您輕鬆探索、準備和整合任何規模的所有資料。AWS Database Migration Service 可協助將資料庫和分析工作負載快速、安全地遷移至 AWS，並且將停機時間降至最低，達到零資料遺失率。Amazon Managed Workflows for Apache Airflow (MWAA) 為 Apache Airflow 提供安全、高度可用的受管工作流程協同運作。AWS Data Exchange 與來自 300 多家資料供應商和 3,500 多個資料產品的第三方資料連線。

針對需要轉換資料、標準化資料、在從原始資料存放區擷取資料前檢查資料品質，或縮小資料表欄、列或資料大小的複雜使用案例，AWS Glue 能讓您更輕鬆地準備和整合資料。

針對定期重複 ETL 的常見使用案例，您可以使用 AWS 零 ETL 功能，如此一來就無需建置和管理 ETL 管道。透過 AWS 零 ETL 功能，您可以直接從 Amazon Managed Streaming for Apache Kafka 擷取串流資料至 Amazon Redshift，並透過 Amazon Redshift 近乎即時地分析 Amazon Aurora 資料，還能進一步執行更多功能。

企業中的不同使用者與資料互動的技術能力各不相同，如果沒有合適工具，他們就可能無法與資料互動。

AWS 為所有使用者類型 (從開發人員到業務使用者) 提供特定技能的介面和任務編寫工具。AWS Glue Studio 會自動產生 ETL 程式碼，讓 ETL 開發人員和業務分析師透過無程式碼介面來轉換資料。AWS Glue 還能讓開發人員和工程師使用自己偏好的整合式開發環境 (IDE)、筆記型電腦和處理引擎。Amazon Managed Workflows for Apache Airflow 能讓科學家和工程師協調端對端資料管道。

AWS 能夠為各種工作負載提供支援，而無需鎖定。

您無需成為 Apache Spark 專家，AWS Glue Studio 可協助您撰寫高度可擴展的 ETL 任務，並將結構化和非結構化資料載入資料倉儲和資料湖。Amazon Managed Streaming for Apache Kafka (MSK) 和 Amazon Kinesis 能讓您輕鬆即時擷取和處理串流資料。其他常見工作負載包括批次資料轉換、資料庫複寫、從 SaaS 擷取資料、團隊間共享資料，以及訂閱第三方資料。