发布于: Nov 29, 2023
借助 Amazon Bedrock 上的模型评估，您可以为您的应用场景评估、比较和选择最佳基础模型。Amazon Bedrock 提供了自动评估和人工评估选项。您可以使用带有预定义指标（例如准确性、稳定性和毒性）的自动评估。对于主观或自定义指标（例如友好度、风格、与品牌之声的一致性），您只需单击几下即可设置人工评估工作流程。人工评估工作流程可以利用您自己的员工或 AWS 管理的团队作为评审者。模型评估提供内置的精选数据集，或者您可以自带数据集。
Amazon Bedrock 的交互式界面可引导您完成模型评估。您只需选择人工评估或自动评估，选择任务类型和指标，然后上传提示数据集即可。然后，Amazon Bedrock 会进行评估并生成报告，因此您可以轻松了解模型针对您所选指标的表现，并为您的应用场景选择合适的模型。
Amazon Bedrock 上的模型评估现已在 AWS 区域美国东部（弗吉尼亚州北部）和美国西部（俄勒冈州）推出预览版。有关更多信息，请参阅 AWS 区域表。
要了解有关 Amazon Bedrock 上的模型评估的更多信息，请参阅 Amazon Bedrock 开发人员体验网页。要开始使用，请在 AWS 管理控制台上登录 Amazon Bedrock。