什麼是 Amazon SageMaker Clarify?
SageMaker Clarify 的優勢
評估基礎模型
評估精靈和報告
![評估精靈和報告](https://d1.awsstatic.com/sagemake-modal-evaluations.c5478f1cd7686de4683e7e036a22105b69b4afa0.png)
自訂
![自訂](https://d1.awsstatic.com/reInvent/reinvent-2023/pdp/sagemaker/clarify/SageMaker-Clarify_PDP-Images_Customize-evaluation-metrics.9817838762df9e6abbe96748e059ebd71d528573.png)
人工評估
![人工評估](https://d1.awsstatic.com/reInvent/reinvent-2023/pdp/sagemaker/clarify/SageMaker-Clarify_PDP-Images_Human-based-evaluations.d6ae6f97aa0be8aaafff69022990b61fe0985600.png)
模型品質評估
![模型品質評估](https://d1.awsstatic.com/reInvent/reinvent-2023/pdp/sagemaker/clarify/SageMaker-Clarify_PDP-Images_Model-quality-evaluations.663f38de448cc5f3da0b0d8af01a0670f97924a8.png)
模型責任評估
使用自動和/或人工評估,針對您的 FM 進行根據種族/膚色、性別/性別認同、性取向、宗教、年齡、國籍、身心障礙、外表和社會經濟狀況等類型的刻板印象風險評估。您還可以評估有害內容的風險。這些評估可套用到任何涉及生成內容的任務,包括開放式產生、摘要和問題回答。
![模型責任評估](https://d1.awsstatic.com/reInvent/reinvent-2023/pdp/sagemaker/clarify/SageMaker-Clarify_PDP-Images_Model-responsibility-evaluations.a0de24d9ec67c2b6ff268103552ab88df9e1f943.png)
模型預測
解釋模型預測
![SageMaker Experiments 中受訓練模型之特徵重要性圖形的螢幕擷取畫面](https://d1.awsstatic.com/products/sagemaker/clarify/sagemaker-clarify-datachart4.4893434de3491833b6a9754a0927c0f3da940f07.png)
監控模型的行為是否發生變化
![在 SageMaker Model Monitor 監控特徵重要性的螢幕擷取畫面](https://d1.awsstatic.com/products/sagemaker/clarify/sagemaker-clarify-datachart5.70d5858cf070564dc2a15854b1b479fb3482630b.png)
偵測偏差
識別資料中的不平衡
SageMaker Clarify 可協助在資料準備期間識別潛在偏差,而無需撰寫程式碼。您指定輸入特徵,例如性別或年齡,SageMaker Clarify 會執行分析任務來偵測這些特徵中的潛在偏差。SageMaker Clarify 接著會提供一份視覺化報告,其中包含對潛在偏差的指標和測量的描述,以便您確定糾正偏差的步驟。在不平衡的情況下,您可以使用 SageMaker Data Wrangler 來平衡您的資料。SageMaker Data Wrangler 提供三種平衡運算子:隨機採樣不足、隨機過度採樣和 SMOTE,以重新平衡不平衡資料集中的資料。
![在 SageMaker Data Wrangler 準備資料期間偏差指標的螢幕擷取畫面](https://d1.awsstatic.com/SageMaker/SageMaker%20reInvent%202020/Thundera/sm-clarify-datawrangler-view-charts-1.09471bd1ce905f399521437a180c15651f7b56ba.png)
檢查受訓練模型是否有偏差
訓練模型後,可透過 Amazon SageMaker Experiments 執行 SageMaker Clarify 偏差分析來檢查模型是否存在潛在偏差,例如對一組產生負面結果的預測頻率高於對另一組產生負面結果的預測。您將指定想測量的模型結果中的偏差輸入特徵,SageMaker 將執行分析並為您提供視覺化報告,確定每個特徵的不同類型的偏差。AWS 開放原始碼方法 Fair Bayesian Optimization 可透過調整模型的超參數來協助減輕偏差。
![SageMaker Experiments 中受訓練模型之偏差指標的螢幕擷取畫面](https://d1.awsstatic.com/SageMaker/SageMaker%20reInvent%202020/Thundera/sm-clarify-experiments-chart-2.b12ee64f65e435ec7e275cff864ecc62e0ffbb2e.png)
監控您的已部署模型是否有偏差
當訓練資料與模型在部署期間看到的即時資料不同時,在部署的機器學習模型中可能會引入或加劇偏差。例如,如果用於訓練模型的抵押貸款利率與目前的抵押貸款利率不同,則用於預測房價的模型的輸出可能會出現偏差。SageMaker Clarify 偏差偵測功能已整合至 Amazon SageMaker Model Monitor,因此當 Amazon SageMaker 偵測到超過特定閾值的偏差時,會自動產生您可以在 Amazon SageMaker Studio 中,以及透過 Amazon CloudWatch 指標和警示查看的指標。
![在 SageMaker Model Monitor 監控偏差的螢幕擷取畫面](https://d1.awsstatic.com/SageMaker/SageMaker%20reInvent%202020/Thundera/sm-clarify-model-monitor-bias-drift-2.d2e1f7f40ce4302f38af4bb3f103ddb50deff35a.png)