Amazon Bedrock 常見問答集

Amazon Bedrock 代理程式是完全受管的功能，可讓開發人員更輕鬆地建立以生成式 AI 為基礎的應用程式，這些應用程式可針對各種使用案例完成複雜的工作，並根據專有知識來源提供最新答案。您無需進行任何手動編碼，只需按幾下，Amazon Bedrock 代理程式就會自動分解任務並建立協同運作計畫。該代理程式透過 API 安全地連線至公司資料，自動將資料轉換為機器可讀的格式，並使用相關資訊增強請求以產生準確的回應。然後，代理程式可以自動呼叫 API 來回應使用者的請求。例如，製造公司可能希望開發一種生成式 AI 應用程式，該應用程式可以自動追蹤庫存水平、銷售資料、供應鏈資訊，以及建議最佳的再訂購時間點和數量，從而最大化效率。作為全受管的功能，Amazon Bedrock 代理程式消除了管理系統整合和基礎設施佈建這些無差別的繁重工作，使開發人員能夠在整個組織中充分利用生成式 AI。

您可以使用 Amazon Bedrock 代理程式將基礎模型安全地連線至貴公司的資料來源。藉助知識庫，您可以使用代理程式授予 Amazon Bedrock 中基礎模型額外的資料存取權，以協助模型產生更相關、內容特定且準確的回應，而無需持續重新訓練 基礎模型。代理程式會根據使用者輸入識別相應的知識庫，擷取相關資訊，並將資訊新增到輸入提示中，為模型提供更多上下文資訊以產生完整的輸出。

Amazon Bedrock 代理程式可以協助您提高生產力、改善客戶服務體驗或自動化 DevOps 任務。

藉助代理程式，開發人員無需編寫自訂程式碼亦可無縫支援監控、加密、使用者許可和 API 調用管理。Amazon Bedrock 代理程式可以自動化使用者請求任務的提示詞工程和協同運作。開發人員可以使用代理程式建立的提示範本作為基準，進一步精簡，以提升使用者體驗。他們可以更新使用者輸入、協同運作計劃和 FM 回應。透過存取提示範本，開發人員可以更好地控制代理程式協同運作。

藉助全受管的代理程式，您不必操心佈建或管理基礎設施，可以更快地將應用程式投入生產。

由 Amazon Bedrock 處理的任何您的內容都會加密並儲存在您使用 Amazon Bedrock 的 AWS 區域中。

不會。使用者輸入和模型輸出不會與任何模型供應商共用。

Amazon Bedrock 提供多種功能來支援安全和隱私要求。Bedrock 符合服務機構控管 (SOC)、國際標準組織 (ISO)、美國健康保險流通與責任法案 (HIPAA) 等一般合規標準，客戶可以按照一般資料保護規範 (GDPR) 使用 Bedrock。Amazon Bedrock 包含在 SOC 1、2、3 報告的範圍內，讓客戶可以深入了解我們的安全控制。我們透過大規模的 AWS 控制第三方稽核來證明合規性。Amazon Bedrock 是符合 ISO 的 AWS 服務之一，該服務符合 ISO 9001、ISO 27001、ISO 27017、ISO 27018、ISO 27701、ISO 22301 和 ISO 20000 標準。Amazon Bedrock 已通過 CSA 安全信任保障及風險 (STAR) 第 2 級認證，可驗證 AWS 雲端產品對最佳實務的使用及安全狀態。使用 Amazon Bedrock 時，您的內容不會用於改善基本模型，也不會與任何模型供應商共用。您可以使用 AWS PrivateLink 建立從 Amazon 虛擬私有雲端 (VPC) 到 Amazon Bedrock 的私有連線，而無需將資料暴露給網際網路流量。

不會。AWS 和第三方模型供應商不會使用 Bedrock 的任何輸入或輸出來訓練 Amazon Titan 或任何第三方模型。

Amazon Bedrock 支援執行期服務的軟體開發套件。iOS 和 Android SDK，以及 Java、JS、Python、CLI、.Net、Ruby、PHP、Go 和 CPP 都支援文字和語音輸入。

所有軟體開發套件都支持串流。

請參閱 Amazon Bedrock 定價頁面了解最新的定價資訊。

按照您簽訂的 AWS 支援合約，可根據開發人員支援、商業支援和企業支援計劃支援 Amazon Bedrock。

您可以使用 CloudWatch 指標來追蹤輸入和輸出 Token。

我們已在 Amazon Bedrock 上為 Titan Text Express 和 Titan 模型推出持續預先訓練；這樣，您就可以使用大量未標記的資料繼續對 Titan 基本模型進行預先訓練。這種類型的訓練將使模型從一般領域語料庫適應更具體的領域語料庫，例如醫學、法律、金融等，同時仍保留 Titan 基本模型的大部分功能。 

通常，企業可能希望為特定領域中的任務建置模型。可能不會就該特定領域中使用的技術行話訓練基本模型。因此，直接微調基本模型將需要大量標記的訓練記錄和較長的訓練時間才能獲得準確的結果。為了減輕這種負擔，客戶可以轉而為持續預先訓練任務提供大量未標記的資料。此任務將使 Titan 基本模型適應新領域。然後，客戶可以使用標籤明顯更少的訓練記錄且以較短的訓練持續時間將新預先訓練的自訂模型微調到下游任務。 

Bedrock 持續預先訓練和微調 (FT) 的要求非常相似。因此，我們選擇建立同時支援 CPT 和 FT 的統一 API。API 的統一可減少學習曲線，並幫助客戶使用標準功能，例如用於追蹤長期執行之任務的 CloudWatch Event Bridge、用於擷取訓練資料的 S3 整合、資源標籤和模型加密。 

持續預先訓練可幫助您輕鬆地將 Titan 模型適應領域特定的資料，同時仍保留 Titan 模型的基本功能。若要建立持續預先訓練任務，請瀏覽至 Bedrock 主控台，然後按一下「自訂模型」。您將導覽至具有兩個索引標籤的自訂模型頁面：模型和訓練任務。兩個索引標籤的右側都提供一個下拉式清單，稱為「自訂模型」。從自訂模型下拉式清單中選擇「持續預先訓練」，導覽至「建立持續預先訓練任務」畫面。您將提供來源模型、名稱、模型加密、輸入資料、超參數及輸出資料。此外，您可以為該任務提供標籤以及有關 IAM 角色和資源政策的詳細資訊。

Amazon Titan 系列模型為 Amazon Bedrock 所獨有，融合了 Amazon 在 25 年期間各業務部門的 AI 和機器學習創新經驗。Amazon Titan 基礎模型 (FM) 透過全受管的 API，為客戶提供豐富的高效能影像、多模態和文字模型選擇。Amazon Titan 模型由 AWS 建立並在大型資料集上進行預先訓練，是強大的通用模型，並可支援各種使用案例以及負責任的 AI 使用。按原樣使用它們或使用您自己的資料私下自訂。

若要進一步了解開發和訓練 Amazon Titan FM 所處理的資料，請瀏覽 Amazon Titan 模型訓練與隱私權頁面。

支援的資料格式包括 .pdf、.txt、.md、.html、.doc 和 .docx、.csv、.xls 和 .xlsx 檔案。檔案必須上傳至 Amazon S3。只需指出資料在 Amazon S3 中的位置，Amazon Bedrock 知識庫就會負責將整個擷取工作流程移至向量資料庫。

在 Amazon Bedrock 知識庫將文字轉換為內嵌項目之前，其提供三個將文字分塊的選項。 

1.  預設選項：Amazon Bedrock 知識庫會自動將文件分割成多個區塊，每個區塊包含 200 個權杖，確保不會從中間斷開句子。如果文件中包含的權杖數少於 200 個，則不會進一步分割。兩個連續區塊之間保持 20％ 的權杖重疊。

2.  固定大小區塊化：在該選項中，您可以指定每個區塊的最大權杖數和區塊之間的重疊百分比，以便 Amazon Bedrock 知識庫自動將文件分割成多個區塊，確保不會從中間斷開句子。 

3.  每個文件建立一個內嵌項目選項：Amazon Bedrock 會為每個文件建立一個內嵌項目。如果已透過將文件分割成單獨的檔案進行預先處理，並且不希望 Bedrock 將文件進一步分塊，則該選項適用。
 

目前，Amazon Bedrock 知識庫使用 Amazon Bedrock 中提供的最新版 Titan Text Embeddings 模型。Titan Text Embeddings 模型支援 8,000 個權杖和 25 種以上的語言，並建立 1,536 個維度大小的內嵌項目。 

Amazon Bedrock 知識庫負責處理整個擷取工作流程：將文件轉換為內嵌項目 (向量)，並將內嵌項目儲存在專門的向量資料庫中。Amazon Bedrock 知識庫支援向量儲存的熱門資料庫，包括 Amazon OpenSearch Serverless 的向量引擎、Pinecone、Redis Enterprise Cloud、Amazon Aurora (即將推出) 和 MongoDB (即將推出)。如果您尚未擁有現有的向量資料庫，Amazon Bedrock 會為您建立 Amazon OpenSearch Serverless 向量存放區。

根據您的使用案例，您可以使用 Amazon EventBridge 在 Amazon S3 與 Amazon Bedrock 知識庫之間建立定期或事件驅動的同步。

使用 Amazon Bedrock 上的模型評估，按幾下即可評估、比較使用案例並為其選擇最佳基礎模型。Amazon Bedrock 提供自動評估和人工評估選項。您可以使用具有準確性、穩健性和毒性等預先定義指標的自動評估。您可以使用人為評估工作流程來進行主觀或自訂指標，例如親切、風格，以及與 Brand Voice 的一致性。對於人工評估，您可以利用內部員工或由 AWS 管理的團隊作為檢閱者。模型評估提供內建的策劃資料集，您也可以使用自有資料集。

您可以使用自動評估來評估各種預先定義的指標，例如準確性、穩健性和毒性。您還可以使用人工評估工作流程來評估主觀或自訂指標，例如親和性、相關性、風格，以及與 brand voice 的一致性。

您可以透過自動評估根據標準條件 (例如準確性、毒性和穩健性) 快速縮小可用 FM 清單的範圍。人工評估通常用於評估更細微或主觀的條件，這些條件需要人為判斷，並且可能不存在自動評估 (例如品牌語音、創意意圖、親和性)。

您可以利用策劃的內建資料集或者使用自有提示資料集，就準確性、穩健性和毒性等指標快速評估 Bedrock 模型。將提示資料集傳送至 Amazon Bedrock 模型進行推論之後，會使用每個維度的評估演算法對模型回應進行評分。後端引擎將個別提示回應分數彙總為摘要分數，並透過易於理解的視覺報告顯示。

Amazon Bedrock 可讓您只需按幾下即可設定人工審查工作流程並帶入內部員工，或利用 AWS 管理的專家團隊來評估模型。使用者可以使用 Amazon Bedrock 的直覺式介面透過按一下豎起大拇指/大拇指朝下、按 1-5 擴展評分、從多個回應中選擇最佳回應或對提示排名來審查模型回應並提供意見回饋。例如，可以向團隊成員展示兩個模型如何回應相同的提示，然後要求其選取顯示更準確、更相關或更有風格特點之輸出的模型。您只需自訂團隊評估 UI 上顯示的說明和按鈕即可指定對您重要的評估條件。您也可以提供包含範例的詳細說明以及模型評估的整體目標，以便他們可以相應地調整其工作。此方法對於評估需要人為判斷或更細緻的領域專業知識且無法使用自動評估輕鬆判斷的主觀條件很有用。

Amazon Bedrock 防護機制可讓您根據使用案例和負責任的 AI 政策為生成式 AI 應用程式實施保護措施。防護機制透過篩選不需要和有害的內容來幫助控制使用者和基礎模型 (FM) 之間的互動，並且很快就可以編輯個人身分識別資訊 (PII)，從而增強生成式 AI 應用程式中的內容安全和隱私。您可以使用專用於特定使用案例的不同組態建立多個防護機制。此外，您還可以持續監控和分析可能違反防護機制中客戶定義之政策的使用者輸入和 FM 回應。

客戶可以使用防護機制定義一組政策，以幫助保護生成式 AI 應用程式。您可以在防護機制中設定下列政策。

• 拒絕的主題 – 您可以定義一組在應用程式內容中不需要的主題。例如，可以將網上銀行助理設計為避免提供投資建議。
• 內容篩選器 – 您可以設定閾值，以篩選仇恨、辱罵、性和暴力類別的有害內容。
• 字詞篩選器 (即將推出) – 您可以定義一組要阻止使用者輸入和 FM 所產生回應的單詞。
• PII 編輯 (即將推出) – 您可以選取一組可在 FM 產生的回應中編輯的 PII。根據使用案例，如果使用者輸入包含 PII，您也可以阻止。

防護機制可以與 Amazon Bedrock 上的所有大型語言模型搭配使用，包括 Titan、Anthropic Claude、Meta Llama 2、AI21 Jurassic 和 Cohere Command FM。也可以與經過微調的 FM 以及 Amazon Bedrock 代理程式搭配使用。

對於下列已正式上市的 Amazon 生成式 AI 服務生成式輸出所造成的著作權索賠，AWS 提供無限制的智慧財產權 (IP) 賠償保證：Amazon Titan 模型、Amazon CodeWhisperer 專業版以及服務條款第 50.10 節中列出的其他服務 (以下稱「生成式 AI 服務賠償保證」)。這意味著客戶將受到保護，不會因為「生成式 AI 服務賠償保證」根據客戶提供的輸入或其他資料產生的輸出而遭到第三方指控侵犯著作權。客戶也必須以負責任的態度使用本服務，例如不輸入侵權資料也不停用服務的篩選功能。

此外，我們針對使用服務提供的標準智慧財產權賠償保證可保護客戶不會因為本服務及其用於訓練的資料而遭到第三方指控侵犯智慧財產權 (包括著作權索賠)。