发布于: Apr 23, 2024
借助 Amazon Bedrock 上的模型评估，您可以为您的应用场景评估、比较和选择最佳基础模型。Amazon Bedrock 提供了自动评估和人工评估选项。您可以将带有预定义算法的自动评估用于准确性、稳定性和毒性等指标。此外，对于那些指标或主观和自定义指标（例如友好度、风格、与品牌之声的一致性），您只需单击几下即可设置人工评估工作流程。人工评估工作流程可以利用您自己的员工或 AWS 管理的团队作为评审者。模型评估提供内置的精选数据集，或者您可以自带数据集。
Amazon Bedrock 的交互式界面可引导您完成模型评估。您只需选择人工评估或自动评估，选择任务类型和指标，然后上传提示数据集即可。然后，Amazon Bedrock 会进行评估并生成报告，因此您可以轻松了解模型针对您所选指标的表现，并为您的应用场景选择合适的模型。将此报告与 Amazon Bedrock 平台中的成本和延迟指标相结合，您可以根据所需的质量、成本和延迟权衡来选择模型。
Amazon Bedrock 上的模型评估现已在 AWS 区域美国东部（弗吉尼亚州北部）和美国西部（俄勒冈州）全面推出。有关更多信息，请参阅 AWS 区域表。
要了解有关 Amazon Bedrock 上的模型评估的更多信息，请参阅 Amazon Bedrock 开发人员体验网页。要开始使用，请在 AWS 管理控制台上登录 Amazon Bedrock 或使用 Amazon Bedrock API。