发布于: Nov 29, 2023
今天，Amazon SageMaker Clarify 宣布了一项支持基础模型 (FM) 评估的新功能。AWS 客户可以在几分钟内根据准确性、稳健性、偏差和毒性等指标进行比较和选择 FM。
如今，客户在选择 FM 为其生成式人工智能应用程序提供支持时有多种选择，他们希望快速比较这些模型，以找到适合其使用案例的最佳选择。为了开始比较模型，客户首先要花几天时间来确定相关的基准，设置评估工具，然后对每个模型进行评测。而且他们经常收到难以辨认的结果。
SageMaker Clarify 现在支持模型选择期间和整个模型自定义工作流程中的 FM 评估。客户可以利用专门为常见任务（包括开放式文本生成、摘要、问题解答和分类）而构建的精选提示数据集，开始进行 FM 评估。客户可以使用自己的自定义提示数据集扩展 FM 评估范围。人工评估可以用于更主观的维度，例如创造力和风格。每次评估后，客户都会收到一份评估报告，该报告以自然语言汇总结果，并包括可视化内容和示例。客户可以下载所有指标和报告，并将其集成到他们的 SageMaker ML 工作流程中。