发布于: Apr 25, 2024
使用 SageMaker Clarify 进行基础模型评估现已全面推出。 此功能可帮助数据科学家和机器学习工程师在几分钟内根据不同任务的各种标准评估、比较和选择基础模型。
SageMaker 客户可从数百种基础模型中进行选择，为其生成式人工智能应用程序提供支持。他们在模型选择和模型自定义期间评估和比较这些模型，以确定最适合其应用场景的模型。此过程可能需要几天时间来确定相关基准、配置评估工具和对每个模型进行评估。所获得的结果通常很难应用于其特定应用场景。
SageMaker Clarify 为自动化和人工评估提供可解释结果。客户可以在 Amazon SageMaker Studio 中使用这项新功能评估 SageMaker 托管的 LLM，也可以使用 fmeval 评估任何 LLM。首先，利用为文本生成、摘要、问题解答和分类等任务定制的精选提示数据集。自定义推理参数和提示模板，并比较不同模型设置的结果。使用自定义提示数据集和指标扩展评估范围。人工评估使客户能够评测更主观的方面，例如创造力和风格。每次评估后，客户都会收到一份包含可视化内容和示例的综合报告，并将其集成到他们的 SageMaker ML 工作流程中。
此功能在所有 AWS 区域推出，以下区域除外：AWS GovCloud（美国）区域、中国区域、亚太地区（海得拉巴）、亚太地区（墨尔本）、加拿大西部（卡尔加里）、欧洲（苏黎世）、欧洲地区（斯德哥尔摩）、欧洲（西班牙）、以色列（特拉维夫）、中东（阿联酋）。