什麼是資料整合？
資料整合是一個程序，可實現公司內所有資料種類的一致存取和交付。組織內的所有部門會大量收集各種結構、格式和功能的資料。資料整合包含架構技術、工具和實務，能將不同的資料整合以便分析。因此，組織可以充分檢視自身的資料，取得高價值的商業智慧和深入見解。
為什麼資料整合很重要？
現代組織通常具有多種工具、技術和服務來收集和儲存資料。分散式資料會導致孤島並帶來存取挑戰。
例如，商業智慧應用程式需要行銷和財務資料來改善廣告策略。然而，這兩個資料集的格式各不相同。因此，外部系統必須在分析之前清除、篩選和重新格式化這兩個資料集。此外，資料工程師可能會手動執行特定的預先處理任務，從而導致進一步的延遲。儘管做了這些工作，應用程式仍可能會錯過關鍵資料集，因為分析團隊不知道其存在。
資料整合旨在透過不同的一致存取方法，來解決這些挑戰。例如，所有資料分析師和商業智慧應用程式都使用單一、統一的平台，來存取不同業務程序的孤立資料。以下是資料整合的一些優勢：
- 改善資料管理效率和使用率
- 提升資料品質和完整性
- 從準確和相關資料中更快地獲得有意義的洞察
資料整合的使用案例有哪些？
公司將資料整合解決方案用於若干關鍵使用案例。我們將在下面更詳細地介紹。
機器學習
機器學習涉及使用大量準確的資料來訓練人工智慧 (AI) 軟體。資料整合將資料彙集至集中式位置，並以支援機器學習的格式作準備。例如，Mortar Data 為公司提供現代資料技術，透過整合 Amazon RedShift 上的資料來訓練機器學習模型。
預測性分析
預測性分析是一種使用最新歷史資料來預測特定趨勢的方法。例如，公司使用預測性分析，在發生故障之前排程裝置維護。他們分析歷史營運資料，以發現異常趨勢並採取緩解措施。
雲端遷移
公司使用資料整合技術，來確保向雲端運算的無縫遷移。將所有舊式資料庫遷移至雲端非常複雜，並且可能會中斷業務營運。而公司使用中介軟體整合等資料整合策略，在確保業務保持營運的同時，能逐步將資料傳輸至雲端資料倉儲。
資料整合如何工作？
資料整合是一個複雜的領域，採用不同的工具和各種解決方案，並運用不同的方法來應對挑戰。過去，解決方案專注於實體資料儲存。資料經過實體轉換，並以統一格式移至中央儲存庫。隨著時間的推移，開發了虛擬解決方案。中央系統已整合並呈現所有資料的統一檢視，而無須變更底層實體資料。最近，中心已轉移至資料網格等聯合解決方案上。每個業務部門獨立管理其資料，但以集中定義的格式將其呈現給其他部門。
市場上的資料整合解決方案也使用各種方法。您仍會發現若干工具，這些工具利用現代技術來提高傳統技術的效率。遺憾的是，市場上現有的分散解決方案導致大型企業內部的分散方法。不同的團隊會使用不同的工具，來滿足其特定需求。大型組織通常擁有重疊和冗餘共存的舊式和現代資料整合系統。
資料整合的方法有哪些？
資料架構師在其資料整合工作中運用這些方法。
資料整合
資料整合使用各種工具來擷取、清理實體資料，並將其存放在最終儲存位置。它消除了資料孤島，並降低了資料基礎設施成本。資料整合中使用兩種主要類型的工具。
ETL
ETL 是指擷取、轉換和載入。首先，ETL 工具從不同的來源擷取資料。接著，根據特定的業務規則、格式和慣例變更資料。例如，ETL 工具可將所有交易價值轉換為美元，即使銷售以其他貨幣計算。最後，它將轉換的資料載入目標系統，例如資料倉儲。
ELT
ELT 是指擷取、載入和轉換。它類似於 ETL，只是 ELT 在序列上切換了最後兩項資料處理程序。所有資料都載入非結構化資料系統中，例如資料湖，並且僅在需要時進行轉換。ELT 充分利用雲端運算的處理能力和可擴展性，來提供即時資料整合能力。
資料複寫
資料複寫或資料傳播會建立資料的複寫複本，而不是將資料從一個系統以實體方式移至另一個系統。此技術非常適合資料來源較少的中小型企業。例如，零售硬體企業可使用企業資料複寫，將特定資料表從其庫存複製到其銷售資料庫。
資料虛擬化
資料虛擬化不會在系統間移動資料，而是建立可整合所有資料來源的虛擬統一檢視。儲存系統在資料虛擬化期間，不會在資料庫之間傳輸資料。而是會在收到查詢後，使用多個來源的資料來填充儀表板。
資料聯合
資料聯合涉及在多個資料來源之上建立虛擬資料庫。其工作方式類似於資料虛擬化，只是資料聯合不整合資料來源。取而代之的是，當收到查詢時，系統會從各個來源擷取資料，並使用標準資料模型來即時整理資料。
資料整合與應用程式整合有何不同？
應用程式整合是允許兩個或多個軟體應用程式相互通訊的程序。這涉及建立通用的通訊框架或 API，允許一個應用程式存取另一個應用程式的功能。API 是一種中介軟體，允許軟體程式彼此通訊。
應用程式整合可將現有的軟體程式與另一個程式整合，藉此來擴展現有軟體程式的功能。例如，您可以整合電子郵件自動回應程式與客戶關係管理 (CRM) 應用程式。同時，資料整合可擷取、組合多個來源系統所有客戶的資料，並將資料載入雲端資料儲存庫。
AWS 如何協助進行資料整合？
Analytics on AWS 提供複雜資料整合解決方案所需的所有基礎設施。我們提供最廣泛的分析服務選擇，以最佳價格效能比、可擴展性和最低成本來建置您的自訂資料整合應用程式。
作為立即可用的解決方案，AWS Glue 是一種資料整合工具，可讓公司大規模擷取、清理和整合資料。它可讓資料架構師使用不同的方法來整合資料，例如擷取、轉換和載入 (ETL)；擷取、載入和轉換 (ELT)；批次處理和串流處理。
- AWS Glue Data Catalog 可讓資料科學家高效地查詢資料，並觀察資料如何隨時間變化
- AWS Glue DataBrew 提供了一個視覺化介面，讓資料分析師無須編寫程式碼即可轉換資料
- AWS Glue Sensitive Data Detection 可自動識別、處理和遮罩敏感資料
- AWS Glue DevOps 可讓開發人員更一致地追蹤、測試和部署資料整合任務
立即註冊 AWS 帳戶，開始在 AWS 上進行資料整合。
