Amazon SageMaker Clarify

評估模型並解釋模型預測

開始使用 FM 評估

開始使用可解釋性

什麼是 Amazon SageMaker Clarify？

SageMaker Clarify 的優勢

在幾分鐘內評估基礎模型 (FM)

建置對 ML 模型的信任

可存取的科學指標和報告

支援合規計畫

評估基礎模型

評估精靈和報告

啟動評估時，請選取模型、工作和評估類型，包括人工評估或自動報告。利用評估結果選擇最適合您使用案例的模型，並量化模型自訂技術的影響，例如提示詞工程、從人類反饋強化學習 (RLHF)、檢索增強生成 (RAG) 和監督微調 (SFT)。評估報告總結跨多個維度的分數，讓您迅速比較並做出決策。更詳細的報告提供最高分和最低分的模型輸出範例，協助您專注於進一步的優化方向。

自訂

使用精選資料集，例如 CrowS-Pairs、TriviaQA 和 WikiText，以及精選演算法，例如 Bert-Score、Rouge 和 F1，快速入門。您可以為個人的生成式 AI 應用程序自訂提示資料集和評分演算法。自動評估也作為開源庫在 GitHub 上提供，讓您隨處運行。範例筆記本說明如何針對任何以程式設計方式對任何 FM 進行評估，包括未託管在 AWS 上的模型，以及如何將 FM 評估與 SageMaker MLOps 和治理工具整合，例如 SageMaker Pipelines、SageMaker Model Registry 和 SageMaker Model Cards。

人工評估

某些評估標準較細微或主觀，需要人為判斷進行評估。除了以指標為基礎的自動化評估外，您還可以請求人類 (您自己的員工或 AWS 管理的評估團隊) 根據幫助性、語氣和品牌聲音等維度評估模型的輸出。人工評估人員還可以檢查是否符合公司特定的指導方針、術語和品牌聲音。設定自訂指示，指導評估團隊如何評估提示，例如透過排名或選擇按讚/倒讚。

模型品質評估

使用以自動和/或人工為基礎的評估，針對您的 FM 進行是否為特定生成式 AI 任務提供高品質回應評估。使用針對特定生成式 AI 任務 (如摘要、問答 (Q&A) 和分類) 量身定制的評估算法 (如 Bert Score、Rouge 和 F1) 評估模型的準確性。當提示輸入對保留語義有干擾時，例如 ButterFingers (手殘)、隨機大寫和空格新增/刪除時，檢查您 FM 輸出的語義穩定性。

模型責任評估

使用自動和/或人工評估，針對您的 FM 進行根據種族/膚色、性別/性別認同、性取向、宗教、年齡、國籍、身心障礙、外表和社會經濟狀況等類型的刻板印象風險評估。您還可以評估有害內容的風險。這些評估可套用到任何涉及生成內容的任務，包括開放式產生、摘要和問題回答。

模型預測

解釋模型預測

SageMaker Clarify 與 SageMaker Experiments 整合，提供得分，詳細說明哪些特徵對表格、自然語言處理 (NLP) 和電腦視覺模型的特定輸入的模型預測作用最大。針對表格資料集，SageMaker Clarify 還可以輸出彙總的特徵重要性圖表，提供對模型整體預測程序的洞察。這些詳細資訊可協助判斷特定模型輸入對整體模型行為的影響是否比預期更大。

SageMaker Experiments 中受訓練模型之特徵重要性圖形的螢幕擷取畫面

監控模型的行為是否發生變化

即時資料的變更可能會暴露模型的新行為。例如，在一個地理區域的資料上訓練的信用風險預測模型，在套用至另一個區域的資料時可能會變更其對各種特徵的重要性。SageMaker Clarify 與 SageMaker Model Monitor 整合，以在輸入功能的重要性發生變化時使用提醒系統 (例如 CloudWatch) 通知您，從而導致模型行為發生變更。

在 SageMaker Model Monitor 監控特徵重要性的螢幕擷取畫面

偵測偏差

識別資料中的不平衡

SageMaker Clarify 可協助在資料準備期間識別潛在偏差，而無需撰寫程式碼。您指定輸入特徵，例如性別或年齡，SageMaker Clarify 會執行分析任務來偵測這些特徵中的潛在偏差。SageMaker Clarify 接著會提供一份視覺化報告，其中包含對潛在偏差的指標和測量的描述，以便您確定糾正偏差的步驟。在不平衡的情況下，您可以使用 SageMaker Data Wrangler 來平衡您的資料。SageMaker Data Wrangler 提供三種平衡運算子：隨機採樣不足、隨機過度採樣和 SMOTE，以重新平衡不平衡資料集中的資料。

進一步了解

在 SageMaker Data Wrangler 準備資料期間偏差指標的螢幕擷取畫面

檢查受訓練模型是否有偏差

訓練模型後，可透過 Amazon SageMaker Experiments 執行 SageMaker Clarify 偏差分析來檢查模型是否存在潛在偏差，例如對一組產生負面結果的預測頻率高於對另一組產生負面結果的預測。您將指定想測量的模型結果中的偏差輸入特徵，SageMaker 將執行分析並為您提供視覺化報告，確定每個特徵的不同類型的偏差。AWS 開放原始碼方法 Fair Bayesian Optimization 可透過調整模型的超參數來協助減輕偏差。

進一步了解

SageMaker Experiments 中受訓練模型之偏差指標的螢幕擷取畫面

監控您的已部署模型是否有偏差

當訓練資料與模型在部署期間看到的即時資料不同時，在部署的機器學習模型中可能會引入或加劇偏差。例如，如果用於訓練模型的抵押貸款利率與目前的抵押貸款利率不同，則用於預測房價的模型的輸出可能會出現偏差。SageMaker Clarify 偏差偵測功能已整合至 Amazon SageMaker Model Monitor，因此當 Amazon SageMaker 偵測到超過特定閾值的偏差時，會自動產生您可以在 Amazon SageMaker Studio 中，以及透過 Amazon CloudWatch 指標和警示查看的指標。