什麼是資料管理？

資料管理是收集、儲存、保護和使用組織資料的過程。組織藉助其資料，來為交易處理及客戶互動等操作程序提供支援。此外，他們還需針對商業智慧、分析、AI，以及即時決策用途來整合其資料。資料管理包括在法律和法規範圍內提高資料可用性的所有政策、工具和程序。

資料是現代化組織的一項寶貴資源。由於可以存取大量和不同的資料類型，組織會在資料儲存和管理基礎設施方面進行大量投資。組織藉助資料管理系統來自動化操作業務程序，以及透過分析資料來促進做出明智的業務決策。下面列出了資料管理的更多特定優勢。

操作效率

資料管理系統有助於組織高效地處理大量交易與操作資料。這些系統可確保準確且一致地擷取交易，從而將財務記錄、庫存更新、客戶帳戶，以及其他操作工作流程中的錯誤降至最低。除了交易處理，這些系統還能自動化常規業務操作，以及提供可靠的記錄保存，從而提供即時活動所需的一致性。憑藉這些效率優勢，資料管理系統有助於組織交付無縫的客戶體驗、確保信任，以及讓日常程序保持高效及可擴展性。

增加收入和利潤

資料分析可以更深入地了解業務的各個方面。您可利用這些洞察來執行操作，以便最佳化業務操作、獲得可促進更明智決策的洞察，以便增加營收及降低成本。資料分析還可以預測決策的未來影響，改善決策制定和業務規劃。因此，組織透過改進其資料管理技術可獲得顯著的收入增長和利潤。

減少資料不一致性

若資料在交易處理中不一致，可能會導致重複記錄、帳戶餘額不正確，以及庫存不符等錯誤，這會讓操作發生中斷、破壞客戶的信任，以及增加補救的成本。資料分析若出現不一致性，可能是資料孤島所致。

資料孤島是組織內只有一個部門或群組可以存取的原始資料集合。資料孤島會產生不一致性，從而降低資料分析結果的可靠性。資料管理解決方案可整合資料並建立集中式資料檢視，從而更好地做出決策，以及改善部門之間的協作。

符合法律合規要求

一般資料保護規範 (GDPR) 與加州消費者隱私保護法 (CCPA) 等法律專為保障客戶資料制定。這些資料保護法包含以下強制性規定：

• 同意擷取資料
• 嚴格控制資料位置及使用
• 依據要求保障資料儲存與刪除

因此，組織需要一個準確且機密的資料管理系統，以便協助保護資料的同時，確保資料的準確度。

資料架構與資料建模是一項成功的資料管理策略的基礎。

資料架構

資料架構是描述並規範組織資料收集、控管和使用的總體框架。資料管理計畫包含最適合實作資料管理策略的技術詳細資訊，例如操作資料庫、資料湖、資料倉儲和伺服器。

資料建模

資料建模是建立概念和邏輯資料模型的過程，以視覺化方式呈現不同類型資料之間的工作流程和關係。資料建模通常從概念上表示資料開始，然後在所選技術的相關內容中再次呈現。資料專業人員在資料設計階段，建立若干不同類型的資料模型。

除了資料治理外，資料管理的做法還涵蓋高品質資料的收集和分發，以控制資料存取權。

資料治理包括組織為管理資料安全性、完整性和負責任的資料公用程式而實作的政策和程序。它定義資料管理策略並確定誰可以存取哪些資料。資料管控政策還確立了團隊和個人存取及使用資料時的責任。資料治理功能通常包括：

資料分析

資料分析是分析資料的診斷程序，可用於確定其結構、品質與特徵。這是了解現有資料集的第一步，以便決定其使用之前是否需要重構。

資料沿襲

資料沿襲可追蹤整個組織的資料流程。時間戳記資料沿襲可用於確定資料片段來源、資料使用方式，以及資料轉換的時間與方式。在稽核程序中，此資料管理程序尤為重要。

資料型錄

資料型錄是組織資料資產及相關中繼資料的集合。藉由在中央型錄存放所有資料相關資訊，資料型錄成為組織內的主要資料註冊庫。使用者可在資料型錄中包含有關所有資料資產的最新資訊。

資料安全與存取控制

資料治理有助於防止未經授權存取資料，還可協助保護資料免遭損毀。資料安全與存取控制涵蓋資料防護的各個方面，舉例以下：

• 防止意外移動或刪除資料
• 保護網路存取以降低網路攻擊的風險
• 確認儲存資料的實體資料中心符合安全要求
• 即使員工從個人裝置存取資料，也能確保資料安全
• 使用者驗證、授權，以及資料存取許可的設定與執行
• 協助確保儲存的資料符合儲存資料所在國家/地區的法律
• 針對敏感資料增添額外控制層

資料合規性

資料合規性政策可降低監管罰款或行動的風險。遵守合規法對於操作不可或缺，例如 GDPR 和 CCPA。

合規活動的重心是資料建模、軟體控制，以及員工培訓，以便在所有層面遵守法律。例如，組織與外部開發團隊合作以改善其資料系統。在將所有個人資料傳送給外部團隊以用於測試目的之前，資料治理管理者會確認是否已移除這些資料。

資料生命週期管理

資料生命週期管理是指在其整個生命週期管理資料的程序。 

舉例來說：

• 資料在擷取時必須經過驗證且定期執行
• 資料在特定時間必須保留以供稽核
• 資料不再需要時必須清除

資料品質管理

資料的使用者希望資料在每個使用案例中具有足夠的可靠性和一致性。

資料品質管理者可衡量並改善組織的資料品質。他們會檢閱現有資料和新資料，並確認其符合標準。他們也可能會設定資料管理程序，以阻止低品質資料進入系統。資料品質標準通常衡量以下內容：

• 關鍵資訊是否遺失或資料是否完整？(例如，客戶遺漏了主要聯絡資訊)
• 資料是否遵循基本的資料檢查規則？ (舉例來說，電話號碼應是特定的數字)
• 相同資料多久出現在系統中？(例如，同一客戶的重複資料項)
• 資料是否準確？(例如，客戶輸入錯誤的電子郵件地址)
• 整個系統的資料品質是否一致？(例如，出生日期在一個資料集中為 dd/mm/yyyy 格式，但在另一個資料集中為 mm/dd/yyyy 格式)

資料分發

資料分佈的端點

對於大多數組織而言，資料必須分佈到 (或附近) 需要該資料的各個端點。其中包括作業系統、資料湖和資料倉儲。由於網路延遲，資料分佈是必要的。當操作使用需要資料時，網路延遲可能不足以及時傳送資料。將資料副本儲存在本機資料庫中，可解決網路延遲問題。

資料分佈對於資料合併也是必要的。資料倉儲和資料湖可擷取各種來源的資料，以呈現合併後的資訊。資料倉儲可用於分析和決策，資料湖則充當整合樞紐，能夠從中擷取資料用於各種使用案例，同時還可針對存放其中的資料不斷提供直接的分析支援。

資料複寫機制及對一致性的影響

資料分佈機制對資料一致性有潛在影響，這是資料管理中的一個重要考量。

同步複寫資料帶來強大的一致性。在這種方法中，當資料值發生變更時，所有應用程式和使用者都可看到變更後的資料值。如果尚未複寫新的資料值，則會阻止資料的存取，直到所有副本都更新為止。同步複寫使一致性優先於效能和資料存取。同步複寫常用於財務資料。

非同步資料複寫產生的最終一致性。資料變更時，最終會更新副本 (通常在幾秒鐘內)，但不會阻止對過期副本的存取。對於許多使用案例，這不是問題。例如，社交媒體帖子、喜歡和評論不需要強大的一致性。另一個範例是，如果客戶在一個應用程式中變更其電話號碼，則此變更可以非同步串聯。

比較串流與批次更新

資料串流會在資料變更時進行串聯。如果需要存取近乎即時的資料，這是首選方法。資料變更後，就會擷取、轉換並傳送至其目的地。

如果必須在交付之前分批處理資料，則批次更新更適合。總結或執行資料的統計分析並僅提供結果就是這樣一個範例。如果在特定時間點擷取所有資料，則批次更新也可以保留資料的時間點內部一致性。透過擷取、轉換、載入 (ETL 或 ELT) 程序進行批次更新通常用於資料湖、資料倉儲和分析。

主資料管理

主資料管理是管理基本業務資料一致性與同步的程序。主資料範例包括客戶資料、合作夥伴資料，以及產品資料。這些基本資料主要是持久性資料，且不會經常變更。此使用中資料範例包括客戶關係管理 (CRM) 及企業資源規劃 (ERP) 軟體。

如需協助確保此資料在各系統中準確無誤，主資料管理不可或缺，包括資料同步及更新時的資料整合。

巨量資料是組織在短時間內高速收集的大量資料。社交媒體上的視訊新聞源和來自智慧感應器的資料串流都是大數據的範例。操作的規模、多樣性和複雜性給巨量資料管理帶來了挑戰。例如，巨量資料系統儲存如下資料：

• 以表格格式很好呈現的結構式資料
• 文件、影像和影片等非結構式資料
• 結合前兩種類型的半結構式資料

大數據管理工具必須處理和準備資料以進行分析。巨量資料所需的工具和技術通常執行以下功能：資料整合、資料儲存以及資料分析。

雲端資料管理 (CDM) 是指當資料處於靜態、處理中及傳輸中時，在雲端管理企業資料。在雲端管理資料可運用多項相同的傳統資料管理實務。

由於雲端環境與標準內部部署環境不同，因此，處理資料的方式亦略有差異。雲端儲存、雲端運算，以及雲端聯網，再結合現代化雲端資料管理服務，可一同滿足資料管理的期望值。

雲端儲存

雲端服務提供者可在多項產品與服務中提供資料儲存，例如，操作資料庫、資料湖，以及雲端資料倉儲。這些資料儲存解決方案採用雲端原生，在雲端執行個體上執行，以及提供適合任意使用案例的虛擬化儲存組態。必須依據資料標準設定雲端儲存執行個體。

雲端運算

雲端運算執行個體專為處理存放的雲端資料設計。此外，這些運算執行個體提供多種不同的組態，對於略有差異工作負載類似皆適用，例如，交易處理、程序自動化、商業智慧、分析、機器學習，以及 AI。必須依據雲端資料管理相關的內部規則，來設定雲端運算執行個體。

雲端聯網

虛擬私有雲端 (VPC) 及 虛擬私有網路 (VPN) 等雲端聯網解決方案皆提供以軟體為基礎的網路。雲端聯網藉由對資源分段來提供隔離，確保工作負載彼此安全地分離，以及更好地防範未經授權的存取。必須結合使用產品控制項與網路安全產品，來關聯透過這些網路傳輸的資料。

雲端資料管理工具

針對在您的各種環境中管理的雲端資料，每位雲端服務提供者皆提供了不同的解決方案。這些資料管理功能可能包括以下服務：

• 資料湖及資料倉儲等資料統一服務
• 合規管理等資料安全服務
• 用於檢查有效及高品質資料的資料品質服務
• 可藉助 AI 與機器學習辨識敏感資料的資料庫存解決方案

每項雲端資料管理解決方案旨在與雲端中提供的基本資料儲存、處理及傳輸服務相輔相成。

共同責任模型

安全與合規是雲端服務提供者與客戶間的共同責任。AWS 將此稱為共同責任模型。 

此共同模型有助於減輕客戶的操作負擔，因為從託管作業系統和虛擬化層的元件到服務運作的設施實體安全性都由雲端服務提供者操作、管理和控制。雲端資料管理服務提供者與客戶都必須了解，其對於模型的資料管理及安全義務。

舉例來說，雲端服務提供者必須採取各項措施，以便為支援客戶雲端執行個體的基礎結構提供安全保障。雲端服務提供者須確認硬體得到修補，以及如預期運作。客戶則必須隨後確認，執行於執行個體的作業系統為最新狀態。

客戶還必須確認在各區域有充足的執行個體複寫，以及資料備份。這樣一來有助於實現資料一致性，以及在發生需要災難復原的事件時讓資料可供擷取。

以下是常見的資料管理挑戰。

規模和效能

組織需要可大規模高效執行的資料管理軟體。他們必須持續監控並重新設定資料管理基礎架構，以維持高峰期間的回應時間，即使資料呈指數級成長。或者藉助無伺服器資料管理軟體，可依據資料量與工作負載的變更來自動調整容量。

變更需求

合規性法規非常複雜，而且會隨著時間而變化。同樣，客戶需求和業務需求也會迅速變化。雖然組織在可使用的資料管理平台上有更多選擇，但他們必須持續評估基礎架構決策，以維持最大的 IT 靈活性、法律合規性並降低成本。

員工培訓

在任何組織中開始資料管理程序都具有挑戰性。龐大的資料量勢不可擋，而且部門間還可能存在孤島。規劃新的資料管理策略，並讓員工接受新的系統和程序需要花費時間和精力。

資料管理最佳實務是成功資料策略的基礎。下方所示為常用資料管理原則，可助您建立強大的資料基礎。

團隊合作

企業使用者和技術團隊必須協同合作，以協助確保滿足組織的資料需求。

自動化

成功的資料管理策略將自動化整合到了大多數資料處理和準備任務中。手動執行資料轉換任務非常繁瑣，而且還會在系統中產生錯誤。即使手動任務有限 (例如執行每週的批次作業) 也可能造成系統瓶頸。資料管理軟體可以支援更快且更有效率的擴展。

雲端運算

企業需要可提供廣泛功能的現代化資料管理解決方案。雲端解決方案可大規模管理資料管理的所有方面，而不會影響效能。例如，AWS 可在單一帳戶內提供各種功能，例如資料庫、資料湖、分析、資料可存取性、資料管控和安全性。

AWS 是全球資料管理平台，可用於建置現代雲端資料管理策略。AWS 資料庫為生成式 AI 應用程式和由資料驅動的應用程式提供高效能、安全且可靠的基礎，從而為企業和客戶創造價值。AWS 高效能資料庫可支援任何工作負載或使用案例，包括輸送量比替代產品快 3 至 5 倍的關聯式資料庫、具有微秒延遲的專用資料庫，以及具有最高召回率下最快輸送量的內建向量資料庫功能。

AWS 提供無伺服器選項，即時根據需求進行擴充，不需再管理容量。AWS 資料庫憑藉靜態加密與傳輸中加密、網路隔離、身分驗證、異常解決，且嚴格遵守合規標準，提供無與倫比的安全性。由於資料會在 AWS 區域內的多個可用區域之間自動複寫，因此可靠性很高。AWS 全受管資料庫具有針對應用程式資料模型進行了最佳化的 15 個資料庫引擎，能簡化資料庫管理這類繁複的工作。

AWS 為每個分析工作負載提供全面的功能集。從資料處理和 SQL 分析到串流、搜尋和商業智慧，AWS 提供無與倫比的價格效能和可擴展性，內建治理功能。選擇針對特定工作負載最佳化的專門打造服務，或使用 Amazon SageMaker 簡化和管理資料和 AI 工作流程。無論您是開始資料旅程，還是尋求整合體驗，AWS 都能為您提供合適的分析功能，以協助您利用資料重塑業務。

下面介紹了一些可協助建置現代雲端資料基礎結構的服務。

Amazon DataZone 是一項資料管理服務，可讓客戶更快、更輕鬆記載、探索、共用和管控儲存在 AWS、內部部署與第三方來源之間的資料。

AWS Glue 是一項無伺服器服務，可使資料整合變得更簡單、快速而且實惠。您可以發現並連線到超過 100 個不同的資料來源，在集中式資料型錄中管理您的資料，並且以視覺方式建立、執行與監控資料管道，將資料載入到您的資料湖、資料倉儲和湖倉。

Amazon Simple Storage Service (Amazon S3) 是一種物件儲存服務，提供領先業界的可擴展性、資料可用性、安全性及效能。各種規模和各業界的數百萬家客戶可以存放、管理、分析和保護幾乎任何使用案例的任何資料量，如資料湖、雲端原生應用程式和行動應用程式。

AWS Lake Formation 可讓您集中控管、保護和共用資料以進行分析和機器學習。AWS Lake Formation 可協助您集中管理和擴展精細的資料存取權，並在組織內外放心地共用資料。

Amazon Relational Database Service (Amazon RDS) 是可輕鬆管理的關聯式資料庫服務，已針對總體擁有成本最佳化。

Amazon Virtual Private Cloud (Amazon VPC) 可協助您在邏輯隔離虛擬網路中定義並啟動 AWS 資源。

即刻建立一個 AWS 帳戶，開始在 AWS 上建置您的雲端資料管理解決方案。