為代理式 AI 打造資料基礎的基本指南

大多數組織正在投資 AI，以便提升工作場所效率。許多已實作某種程度的生成式 AI，目前正著眼於後續步驟，即藉助代理式 AI 來自動執行複雜的工作流程。

代理式 AI 的成功取決於諸多因素，但其中最重要的或許是資料基礎，即架構準備度、流程與機制，這可讓組織中的 AI 代理程式安全且高效地運用高品質資料。

與在查詢及回應模式上運作的傳統資料工作流程相差迥異，AI 代理程式能夠獨立推理、規劃及執行複雜的任務，進而在最少的人為監督下實現預定目標。為產生最佳預期成果，AI 代理程式需要探索及存取高品質資料。其需在適當的關聯內容、記憶體及延遲條件下運作，進而快速交付相關結果；而且因其能夠自主地跨大量資料運作，因此資料治理非常關鍵。

針對代理式 AI 準備您的資料基礎是一個演進程序，且並不表示需要從頭開始。您可從目前狀況開始，然後在建置時評估目前功能的限制。依據目前的狀態來實作 AI 代理程式，有助於您優先考慮要投入的領域。 

本指南圍繞重要問題編製，將協助您了解 AI 代理程式對資料基礎的需求。

資料往往分佈於各業務單元、舊式系統，以及廠商平台間。這通常是去中心化採購決策、業務單元差異化需求，以及迅速發展產生的結果。但是，這也會導致資料孤島，且克服這些孤島可能既昂貴又費力。而且，由於底層系統針對特定、定義的存取模式建置，透過擴展來支援 AI 代理程式帶來的額外負荷變得非常困難。依據開放式標準建置的資料基礎，允許組織讓 AI 代理程式大規模存取其資料，同時在整體架構中規劃未來靈活性。

開放資料表格式

Apache Iceberg 這類開放資料表格式 (OTF) 可在資料湖中運用類似資料庫的功能，包括 ACID 交易，以及演進資料結構的功能。關鍵是，OTF 支援互通性，意味著任何相容工具、引擎或 AI 代理程式都能安全地使用相同的資料，而無需重新格式化或複製。這尤其重要，因為 AI 代理程式跨多個引擎與工具運作，來完成工作流程。 

開放資料表格式還支持資料湖倉架構，其結合了基於 OTF 的資料湖與集中式治理層，從而讓其能夠像資料倉儲那樣運作。資料湖倉架構具有可擴展性與靈活性，並且提供統一的系統來存放及處理資料。其可實現更輕鬆地整合資料集為可重複模式，通常稱為資料產品，且具備廣泛的分析工具相容性與集中式存取控制。

開放原始碼軟體

PostgreSQL (適用於交易資料)、Apache Kafka (適用於資料串流)、Apache Spark (適用於資料處理) 及 OpenSearch (適用於搜尋) 等開放原始碼技術，能夠為組織提供久經驗證且廣泛採用的建置區塊。由於這些技術在擁有廣泛社群支援的開放標準基礎上建置，因此，AI 代理程式能夠從更豐富的公開可用程式碼、文件及其他資訊中獲益，進而有助於做出更準確的決策。

開放通訊協定

開放通訊協定針對 AI 代理程式提供了標準化的方式，以便相互互動，以及與周遭環境互動。模型上下文協定 (MCP) 可連線 AI 代理程式至外部資料來源、工具與 API，以便擷取關聯內容及執行操作。Agent2Agent Protocol (A2A) 支援以不同框架建置的 AI 代理程式相互通訊。這些通訊協定共同作用，讓 AI 代理程式能夠從推理鏈的多個來源中提取資料，然後將任務交給其他 AI 代理程式。

AI 代理程式需要能夠尋找滿足其使用案例的適當資料，並且往往需要在單一工作流程中依賴於多種資料類型。這可能包括客戶記錄、交易，以及庫存層級等結構化資料；存放於 HTML、JSON 或 XML 檔案的半結構化資料；以及文件、支援工單或電子郵件封存等非結構化資料。若資料分佈於各種不同的系統及格式，AI 代理程式必須能夠找到及評估該資料。 

資料型錄在協助 AI 代理程式探索可用資料、含義及存放位置方面發揮著重要作用。資料型錄包括中繼資料，這是資料相關的描述性資訊，包括結構描述、資料類型、沿襲、新鮮度，以及擁有權。在協助 AI 代理程式了解來源中包含哪些資料方面，這尤其重要。 

若組織出於效能、合規或業務原因而維護多個型錄，型錄聯合允許 AI 代理程式探索跨系統存放的資料。某些組織可進一步整合結構化、半結構化，以及非結構化資料至單一儲存層。這樣一來，AI 代理程式可查看更少位置，並且能夠以一致的方式跨類型尋找及評估資料，藉此來簡化探索。

在 AI 代理程式有效使用資料之前，往往需要先清理、擴充及轉換資料。原始資料可能存在格式不一致、缺少值或冗餘記錄，進而降低 AI 代理程式準確推理的能力。AI 代理程式可在執行時期執行部分資料準備工作，而資料轉換工具與管道則能可靠地大規模進行資料準備。適用於代理式 AI 的資料轉換管道也可能包括向量嵌入生成、進行檢索增強生成 (RAG) 的資料區塊化、中繼資料生成與擴充，以及資料品質檢查。 

 可使用分層資料架構來為 AI 準備高品質、可信任的資料。此方法往往在資料湖倉中實作，依據資料的取用準備度將其整理至不同區域，且 OTF 可提供維護層間一致性所需的交易保證：原始區域用於存放從來源系統送達的資料；清理區域用於存放經驗證且標準化的資料；經策管區域則用於存放針對下游使用最佳化的業務就緒資料集。這可針對資料提供一種結構化方法，以便依據其預期用途進行清理及調整。

眾多 AI 代理程式依賴於存取可反映目前狀況的高品質資料。其中一種方式是直接連線至營運資料庫，可確保 AI 代理程式看到與應用程式所用相同的最新資訊。針對近乎即時地依賴於多個資料來源的使用案例，或者直接存取營運資料庫存在效能或安全風險，則可使用串流管道來持續擷取發生的事件及更新。串流管道使用變更資料擷取 (CDC) 程序，透過營運資料庫來擷取變更，以及將其發布至事件串流，供其他下游系統使用，通常只需幾毫秒。 

在將串流資料傳遞至 AI 代理程式之前，組織應考慮對傳入的資料事件套用確定性清理規則。這些規則可快速發現重大品質問題，並且與 AI 代理程式協同運作，這樣可擷取依據確定性規則未能篩選出的資料相關的細微品質問題。

實作資料與 AI 治理，這是確保 AI 代理程式能夠在高品質資料上安全運作、有保障的關鍵初始步驟。治理對於 AI 代理程式尤其重要，因為其會動態探索及存取資料，以便做出決策。若沒有妥善設定適當的控制措施，暴露敏感資料或存取超出預期範圍資源的風險便會增加。 

資料敏感性及存取管理

一般而言，尤其在高度管制環境中，應對資料進行敏感性稽核，並進行適當標記及分類，且高度敏感的資訊應保留在安全環境中。存取管理應遵循最低權限原則，意味著僅授予對完成任務所需資訊的存取權。應對任何角色及授予的存取許可予以密切監控且可撤銷，以確保大規模安全性。

稽核、沿襲及可觀測性

有效的治理實務對於稽核與合規目的尤其重要，這通常需要記錄執行的操作，並且能夠解釋所做決策的原因。沿襲追蹤藉由記錄存取的資料及其轉換方式，可提供問責依據。這讓您能夠稽核 AI 代理程式遵循的資料路徑。可觀測性藉由即時監控 AI 代理程式行為、追蹤其正在執行的操作、偵測異常狀況，以及標記政策違規，可對沿襲追蹤進行補充。

資料品質

穩健的資料治理實務為實現一致的高品質資料奠定了基礎。治理可確保妥善設定適當的程序與政策來有效管理資料存取，資料品質則是指資料本身的準確性、可靠性與實用性。針對跨多步驟推理鏈自主運作的 AI 代理程式，資料品質不佳可能會引起串聯錯誤。組織評估其代理式 AI 資料基礎時，應考慮實作資料品質框架，以便因應每個使用案例相關的核心維度，例如完整性、一致性、準確性、相關性，以及時效性。 

安全及責任

隨著 AI 代理程式做出更多自主決策，底層資料基礎的安全性變得更加關鍵。組織應透過加密、網路隔離、存取控制，以及威脅偵測，確保 AI 基礎結構、資料與模型免遭未經授權的存取與惡意攻擊。 

確保 AI 代理程式以負責任的方式運作也同樣重要。信任防護機制有助於降低 AI 代理程式生成有害內容或錯誤資訊、暴露敏感資訊，以及傳回幻覺的風險。這些保護措施有助於組織在部署 AI 代理程式時滿足法規與道德標準。

雖然 AI 代理程式僅憑一般知識即可運作，但大多數組織可透過組織特定的關聯內容來自訂 AI 代理程式，以便取得更大價值。這有助於 AI 代理程式在業務中做出更佳決策、確保其取得最新資訊，以及減少幻覺。 

用於自訂 AI 代理程式的領域特定資料，通常駐留於知識庫中。RAG 是指透過這些知識庫擷取資訊，以及增強大型語言模型 (LLM) 提示的程序，這樣一來，AI 代理程式便能生成更即時、更相關的回應。RAG 實作通常依賴於向量嵌入，或是擷取文件、影像與支援文章等內容的語意含義的數值呈現。以嵌入為基礎的擷取並非與準確的關鍵字進行比對，而是尋找情境相似內容，從而讓 AI 代理程式能夠透過大量組織知識來進行推理，這些知識存放於原本難以查詢的來源中。

語意層藉由協助 AI 代理程式理解業務邏輯來對 RAG 進行補充。其定義資料表關係、業務指標，以及共用術語，從而確保 AI 代理程式在各團隊間對 "營收" 或 "活躍客戶" 等術語的解讀保持一致。可透過本體論及知識圖、維度模型、資料表關係，以及可映射指標、邏輯及其互連的指標定義，來建置語意層，進而將意圖轉換為業務定義。

關聯內容有助於 AI 代理程式在當下做出相關決策，而記憶體則有助於其了解過去。LLM 是無狀態的，意味著每一項請求送達時，沒有任何之前互動的記憶。若沒有疊加於上層的記憶體架構，AI 代理程式則不能進行推理、調整或協調，並且可能會浪費時間及資源，反覆推導出相同的答案。由於 AI 代理程式在迴圈中運作 (推理、操作、記憶、重複)，記憶體是防止冗餘工作、以及在各次迭代中保持一致進度的關鍵。關聯內容與記憶體共同作用，將 AI 代理程式從一次性、單輪回應者，轉變為可隨時間累積專業知識的系統。

代理程式記憶體存在於連續體之上。短期記憶體位於左側，可持續以高速存取。中期記憶體位於中間，在代理程式需要時透過工具擷取。長期記憶體位於右側，不常進行設定，且更像基礎結構一樣處理。每種類型具備不同的存取模式、延遲要求，以及資料管理責任。

短期記憶體

這是代理程式的工作記憶體，類似於 RAM。其保留目前的對話回合、最新的工具結果、多階段工作流程中的作用中步驟，以及任務完成後重設的暫時性狀態。Strands Agents 與 LangGraph 等框架通常為您管理此層，但基礎儲存體必須交付微秒級讀取延遲，因為代理程式會經常存取此記憶體，即使在單一互動中亦是如此。 

短期記憶體還延伸至跨 AI 代理程式的共用狀態。若多個 AI 代理程式協調執行任務，共用檔案系統則允許其交換中繼結果，並且以低延遲存取來維護檢查點。

中期記憶體

該層與現有資料工具及系統連接最緊密，包括資料湖、型錄，以及知識庫。其包含 AI 代理程式在執行期間，透過工具呼叫來擷取的事實、關係及體驗，也是大多數資料準備工作的集中場所。這包括以下內容： 

• 語意記憶體保存事實、概念及關係的結構化知識，與取得該知識的時間或地點無關。這是 AI 代理程式用於推理新狀況的永恆知識庫，無需透過第一性原理重新推導答案。資料庫、向量存放區、知識圖，以及資料倉儲都可充當語意記憶體的後端。 

• 使用者設定檔記憶體可擷取 AI 代理程式服務的使用者的持久性身分，包括喜好設定、通訊風格、過去的選擇，以及跨工作階段個人化行為的累積屬性。 

• 情節記憶體可保留特定事件及互動的時間戳記記錄。語意記憶體較抽象，而情節記憶體則較具體。其讓 AI 代理程式能夠回想起之前系統中某種特定方法失敗的情況，並據此做出調整。這樣一來，AI 代理程式就能透過部署來做出改善，而無需不斷重新訓練。工作階段日誌、互動歷程記錄，以及事件存放區均會饋送至情節記憶體。 

與短期記憶體的關鍵區別在於，中期記憶體位於關聯內容視窗之外，且透過工具存取。AI 代理程式決定何時需要資訊，以及呼叫適當的工具，這意味著資料來源必須可探索且回應速度足夠快，能夠維持推理迴圈的運作。 

長期記憶體

這是變更最不頻繁的層，從根本上塑造了 AI 代理程式的自我意識及其做出的決策。長期記憶體包括系統提示、防護機制、AI 代理程式角色的定義，以及程序常式。當建立一個 AI 代理程式來扮演保險承保代理人的角色時，該指令及其必須遵循的規則、約束及行為界限都存放在這裡。此層還包含程序記憶體，可對技能與常式進行編碼，進而為 AI 代理程式提供內建營運知識，而無需在每個步驟中逐一考量。長期記憶體成品可作為基礎結構即程式碼來管理，且存放於版本控制的程式碼儲存庫、組態管理系統，或者鍵值存放區內。

傳統應用程式工作流程遵循固定、具有確定性的路徑。使用者完成任務後，會針對資料庫執行相同的查詢序列。這可讓索引調校、結果快取，以及容量預測具有可預測性。然而，AI 代理程式每次完成相同的任務時，可能會採用不同的路徑，依據其對中繼結果的推理方式，來選擇不同的查詢。這種變異性讓有效預測負載及最佳化查詢模式變得更具挑戰性。

在某些案例中，可使用語意快取來解決此問題。快取可傳回針對語意相似請求存放的回應，而非觸發一項新的呼叫。這能夠降低成本、改善效能，以及提高代理式應用程式的輸送量。

為進一步支援 AI 代理程式的不可預測性，底層基礎結構應建置為可自動擴展。無伺服器架構無需預先配置資源；與其依容量上限來規劃基礎結構規模，不如讓資源依需求自動擴展或縮減，無需手動介入。這對於 AI 代理程式尤其重要，因其行為可能會引起爆量。隨著啟動任務、呼叫工具或工作流程展開，活動可能會突然激增，隨後又回落至零。由於無伺服器容量可隨需提供，從而減少資源浪費，並且組織僅需依實際用量付費。

除了透過無伺服器佈建來滿足需求，組織還應優先採用具備自動容錯移轉與備援的高可用性基礎結構，以支援持續的運行時間。設置妥當後，單一元件故障不會中斷 AI 代理程式完成其工作的能力。 

針對代理式 AI 準備您的資料基礎，可能是這十年間您需要負責的最重要的專案。本指南中的問題說明了資料基礎有效支援 AI 代理程式所需的基本功能：互通性、探索、資料準備、治理、關聯內容、記憶體，以及低延遲。現今大多數組織尚未完全具備上述全部能力，這是預期情況。針對代理式 AI 建置資料基礎是一個逐步演進的程序，而您增強的每項能力會擴大 AI 代理程式能交付的價值。AWS 在上述每個領域均可提供專用服務，進而協助您建置、擴展及營運適用於代理式 AI 的資料基礎。

20 多年來，AWS 提供安全、可靠且可擴展的雲端服務，並且具備業界領先的價格效能比，受到數百萬客戶的信任。下面介紹了 AWS 如何支援您的代理式 AI 資料基礎。

開放式資料架構

AWS 採用開放式標準，因為這些標準可為客戶提供靈活性及最佳價值。這包括 PostgreSQL (透過 Amazon Aurora 及 Amazon Relational Database Service (Amazon RDS) 運作)、Apache Kafka (透過 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 運作)、OpenSearch (透過 Amazon OpenSearch Service 運作)、Apache Spark (透過 Amazon EMR 運作)，以及 Trino (透過 Amazon Athena 運作)。AWS 在 AWS Analytics 堆疊間交付原生 Apache Iceberg 支援，包括透過 Amazon S3 Tables 提供全受管表格式資料儲存，從而讓 AI 代理程式無需重新格式化或複製，即可透過互通方式來存取分析資料。AWS 還支援包括 MCP 與 A2A 在內的開放式代理程式通訊協定，從而讓 AI 代理程式能夠連線至資料來源、工具，以及相互連線。

「讓 Amazon Web Services 這類公司支援開放原始碼產品，並負責高可用性、可擴展性和整體資料管理等重要屬性，這個想法意義重大。」  

— BMC Helix ITSM 研發助理副總裁 Raj Cheruvu

適用於代理式 AI 每一層堆疊的專用服務

從資料準備到記憶體與低延遲效能，本指南涵蓋的功能需要能夠持續地大規模運作的基礎結構。AWS 可交付久經驗證的可靠性、可擴展性與價格效能比，以便您在卓越的基礎上進行建置。

為協助確保針對 AI 代理程式做好適當的資料準備，AWS Glue 提供大規模的無伺服器資料整合及轉換，從而讓您能夠輕鬆探索、準備、移動及整合多個來源的資料。AWS Glue Data Quality 是 AWS Glue 的無伺服器及開放原始碼元件，允許您衡量及監控資料品質，以及直接在資料管道內強制執行品質規則。

針對近乎即時的資料，AWS 提供一套受管服務，可啟用端對端串流資料管道。Amazon Kinesis Data Streams 與 Amazon MSK 負責處理高輸送量資料擷取；Amazon Managed Service for Apache Flink 提供串流處理，而 Amazon Data Firehose 則將資料交付至其目的地，從而協助 AI 代理程式在條件變更時對高品質、最新資料進行推理。

為了支援關聯內容，AWS 資料庫包括 Amazon Aurora、Amazon RDS、Amazon Neptune 及 Amazon ElastiCache for Valkey，能夠為 RAG 擷取提供原生向量支援，從而在查詢時針對 AI 代理程式提供快速且相關的關聯內容。Amazon OpenSearch Service 針對代理式 AI、搜尋及分析，提供受管、開放原始碼擷取引擎。它將向量、詞彙、混合式和代理式擷取結合在單一系統中，並且以 PB 規模提供低延遲的高度相關結果。

針對儲存優先的替代方案，Amazon S3 Vectors 可將上傳、存放及查詢向量的總成本降低高達 90%，從而讓建立及保留可改善 AI 代理程式記憶體與關聯內容的大型向量資料集在經濟上切實可行。 

「AWS 的基礎結構為我們提供了專注於重要事項的基礎。我們已建置能像人類一樣執行推理的影片 AI：不僅能夠理解發生了什麼事情，還能理解該事情重要的原因，以及各個時刻的時間關聯方式。」 
— TwelveLabs 執行長兼共同創辦人 Jae Lee

眼見為憑 – TwelveLabs 使用 S3 Vectors 為世界釋放影片的全部潛能

AWS 資料庫產品組合涵蓋記憶體連續體的三個區域。Amazon ElastiCache for Valkey 實現代理式 AI 所需的微秒級延遲，以便快取工具結果、保留工作階段關聯內容，以及維持驅動一致的多步驟推理的短期工作記憶體。Amazon DynamoDB 可處理情節日誌記錄及工作階段狀態追蹤的大量追加寫入模式，在任何輸送量下均能實現個位數毫秒級讀取。Amazon Aurora 及 Amazon RDS  非常適合長期記憶體，尤其適合持續保存多步驟任務進度。Amazon Neptune 支援基於圖形的語意記憶體及情節記憶體，以進行關係遍歷。

為支援 AI 代理程式間共用狀態，Amazon S3 Files 可透過低延遲的檔案系統存取 Amazon S3 中的資料，從而讓代理程式能夠交換中繼結果，以及在多代理程式管道間維護檢查點。這些服務共同運作，涵蓋記憶體連續體中的每個延遲層、寫入模式，以及耐久性需求，以便您建置可擴展且效能不折不扣的記憶體架構。了解 Trend Micro 如何使用 Amazon Neptune 建置具備短期與長期記憶體功能的 AI 安全助理。

AWS 資料庫服務旨在自動擴展及適應即時工作負載變更，非常適合處理 AI 代理程式生成的可變、高載工作負載。Amazon DynamoDB 與 Amazon ElastiCache 每秒可回應數億個請求，同時將延遲控制在微秒至個位數毫秒內；而 Amazon Aurora 可即時擴展，並且與 PostgreSQL 及 MySQL 完全相容，能夠以十分之一的成本交付媲美商業資料庫的效能、可用性及可擴展性。

若您的組織在內部部署執行 SQL Server 或 Oracle 等商業資料庫，或在 Amazon EC2 上自行管理，則您建立 AI 就緒資料基礎的路徑，應從透過直接移轉方式遷移至 Amazon RDS 開始。憑藉您的商業資料資產在代理式 AI 方面制勝介紹了 Amazon RDS 如何交付代理式 AI 應用程式所需的自動化管理、效能、可靠性，以及安全性；而 Amazon RDS 的商業價值中的 IDC 研究則展示了遷移至 RDS 的財務影響：三年投資報酬率達 258%，受訪組織的服務品質顯著提升。

AI 的信任基礎

AI 代理程式動態探索及存取資料以做出自主決策，需要能夠隨之擴展的治理機制及安全性。AWS 旨在打造成為最安全的雲端基礎結構，且預設具備資料加密功能，以及延伸至 AI 代理程式的精細存取控制。AWS 資料治理可確保僅合適的使用者方可存取相應資料，並且存取控制滿足政策及安全標準。內建合規功能支援不斷演進的全球法規，而系統化驗證程序可確保對受信任 AI 的妥善資料管理。AWS 致力於交付受信任且關聯內容豐富的資料，即使最敏感的工作負載，也能在人類、AI 代理程式與應用程式間安全傳輸。