Amazon SageMaker Clarify

評估模型並解釋模型預測

什麼是 Amazon SageMaker Clarify?

SageMaker Clarify 的優勢

使用準確性、穩健性和毒性等指標,自動評估生成式 AI 使用案例的 FM,以支援您負責任的 AI 計畫。對於需要精細人為判斷的條件或細緻內容,您可以選擇使用自己的人力,或使用 AWS 提供的受管理人力來檢閱模型回應。
說明輸入特徵在模型開發和推論期間對模型預測有何貢獻。使用自動和人為評估在自訂期間評估您的 FM。
在 FM 自訂和 MLOps 工作流程中產生易於理解的指標、報告和範例。
在資料準備、模型自訂和已部署模型中,依照 ISO 42001 等指引規定,偵測潛在偏差和其他風險。

評估基礎模型

評估精靈和報告

啟動評估時,請選取模型、工作和評估類型,包括人工評估或自動報告。利用評估結果選擇最適合您使用案例的模型,並量化模型自訂技術的影響,例如提示詞工程、從人類反饋強化學習 (RLHF)、檢索增強生成 (RAG) 和監督微調 (SFT)。評估報告總結跨多個維度的分數,讓您迅速比較並做出決策。更詳細的報告提供最高分和最低分的模型輸出範例,協助您專注於進一步的優化方向。
評估精靈和報告

自訂

使用精選資料集,例如 CrowS-Pairs、TriviaQA 和 WikiText,以及精選演算法,例如 Bert-Score、Rouge 和 F1,快速入門。您可以為個人的生成式 AI 應用程序自訂提示資料集和評分演算法。自動評估也作為開源庫在 GitHub 上提供,讓您隨處運行。範例筆記本說明如何針對任何以程式設計方式對任何 FM 進行評估,包括未託管在 AWS 上的模型,以及如何將 FM 評估與 SageMaker MLOps 和治理工具整合,例如 SageMaker Pipelines、SageMaker Model Registry 和 SageMaker Model Cards。
自訂

人工評估

某些評估標準較細微或主觀,需要人為判斷進行評估。除了以指標為基礎的自動化評估外,您還可以請求人類 (您自己的員工或 AWS 管理的評估團隊) 根據幫助性、語氣和品牌聲音等維度評估模型的輸出。人工評估人員還可以檢查是否符合公司特定的指導方針、術語和品牌聲音。設定自訂指示,指導評估團隊如何評估提示,例如透過排名或選擇按讚/倒讚。
人工評估

模型品質評估

使用以自動和/或人工為基礎的評估,針對您的 FM 進行是否為特定生成式 AI 任務提供高品質回應評估。使用針對特定生成式 AI 任務 (如摘要、問答 (Q&A) 和分類) 量身定制的評估算法 (如 Bert Score、Rouge 和 F1) 評估模型的準確性。當提示輸入對保留語義有干擾時,例如 ButterFingers (手殘)、隨機大寫和空格新增/刪除時,檢查您 FM 輸出的語義穩定性。
模型品質評估

模型責任評估

使用自動和/或人工評估,針對您的 FM 進行根據種族/膚色、性別/性別認同、性取向、宗教、年齡、國籍、身心障礙、外表和社會經濟狀況等類型的刻板印象風險評估。您還可以評估有害內容的風險。這些評估可套用到任何涉及生成內容的任務,包括開放式產生、摘要和問題回答。

模型責任評估

模型預測

解釋模型預測

SageMaker Clarify 與 SageMaker Experiments 整合,提供得分,詳細說明哪些特徵對表格、自然語言處理 (NLP) 和電腦視覺模型的特定輸入的模型預測作用最大。針對表格資料集,SageMaker Clarify 還可以輸出彙總的特徵重要性圖表,提供對模型整體預測程序的洞察。這些詳細資訊可協助判斷特定模型輸入對整體模型行為的影響是否比預期更大。
SageMaker Experiments 中受訓練模型之特徵重要性圖形的螢幕擷取畫面

監控模型的行為是否發生變化

即時資料的變更可能會暴露模型的新行為。例如,在一個地理區域的資料上訓練的信用風險預測模型,在套用至另一個區域的資料時可能會變更其對各種特徵的重要性。SageMaker Clarify 與 SageMaker Model Monitor 整合,以在輸入功能的重要性發生變化時使用提醒系統 (例如 CloudWatch) 通知您,從而導致模型行為發生變更。
在 SageMaker Model Monitor 監控特徵重要性的螢幕擷取畫面