亞馬遜 SageMaker Clarify 現在支援基礎模型評估
張貼日期:
2024年4月25日
使用 SageMaker Clarify 的基礎模型評估現在一般可用。 此功能可協助資料科學家和機器學習工程師在幾分鐘內根據不同任務的各種條件來評估、比較和選擇基礎模型。
SageMaker 客戶可在數百種基礎模型之間進行選擇，以支持其生成式 AI 應用程序。他們在模型選擇和模型自訂期間評估和比較這些模型，以確定適合其使用案例的最佳適合性。這個程序可能需要數天的時間來識別相關基準，配置評估工具，以及對每個模型進行評估。獲得的結果通常很難應用於其特定用例。
SageMaker Clarify 提供自動化和人為評估，並具有可解釋的結果。客戶可以在 Amazon SageMaker Studio 中使用這項新功能來評估 SageMaker 託管的 LLM，或使用 fmeval 評估任何 LLM。使用針對文字產生、摘要、問題回答和分類等任務量身定制的精選提示資料集，開始使用。自訂推論參數和提示範本，並比較不同模型設定的結果。使用自訂提示資料集和指標來擴展評估。人類評估使客戶能夠評估更主觀的方面，例如創造力和風格。每次評估後，客戶都會收到一份全面的報告，其中包含視覺化和範例，並將它們整合到他們的 SageMaker ML 工作流程中。
此功能適用於所有 AWS 區域，除 AWS GovCloud (美國) 區域、中國地區、亞太區域 (海德拉巴)、亞太區域 (墨爾本)、加拿大西部 (卡加立)、歐洲 (蘇黎世)、歐洲 (斯德哥爾摩)、歐洲 (西班牙)、以色列 (特拉維夫)、中東 (阿聯酋) 以外。