Amazon SageMaker
概览 定价 常见问题 客户

Amazon SageMaker Clarify

评估模型并解释模型预测
开始使用 FM 评估
开始使用可解释性

什么是 Amazon SageMaker Clarify？

Amazon SageMaker Clarify 提供专门构建的工具，可根据准确性、稳定性、毒性和偏差等指标更深入地了解您的机器学习模型和数据，从而提高模型质量并支持负责任的人工智能计划。随着生成式人工智能的兴起，数据科学家和机器学习工程师可以利用公开的基础模型（FM）来加快上市速度。为了消除为您的使用案例评估和选择合适的基础模型的繁重工作，Amazon SageMaker Clarify 支持基础模型评估，可帮助您在几分钟内根据不同任务的各种标准快速评估、比较和选择最适合您的使用案例的基础模型。藉此您可以更快速、更自信地采用基础模型。对于表格、计算机视觉和时间序列模型，SageMaker Clarify 可在模型开发过程中或模型部署后提供模型可解释性。您可以使用偏差和可解释性报告来识别潜在问题，从而将精力集中在提高准确性、消除偏见和提高绩效方面。

SageMaker Clarify 的优势

使用准确性、稳定性和毒性等指标自动评估生成式人工智能使用案例的 FM，以支持您负责任的人工智能计划。对于需要复杂的人工判断的标准或有细微差别的内容，您可以选择利用自己的员工队伍，也可以使用 AWS 提供的托管员工队伍来审查模型响应。
解释在模型开发和推理过程中，输入功能如何影响模型预测。在自定义期间，使用自动和人工评估来评估您的 FM。
在整个 FM 自定义和 MLOps 工作流程中生成简单易懂的指标、报告和示例。
根据 ISO 42001 等指南的规定，在数据准备、模型定制期间以及部署的模型中检测潜在偏差和其他风险。

评估基础模型

评估向导和报告

评估向导和报告

要启动评估，请选择模型、任务和评估类型 - 基于人工或自动报告。利用评估结果为您的使用案例选择最佳模型，并量化诸如提示工程、人类反馈强化学习（RLHF）、检索增强生成（RAG）和监督微调（SFT）等模型定制技术的影响。评估报告总结了多个维度的分数，便于快速比较和决策。更详细的报告提供了最高和最低评分模型输出的示例，使您可以专注于可进一步优化的方面。
自定义

自定义

快速开始使用精选数据集（例如 CrowS-Pairs、TriviaQA 和 WikiText）以及精选算法（例如 Bert-Score、Rouge 和 F1）。您可以自定义专门针对您的生成式人工智能应用程序的提示数据集和评分算法。自动评估还可以作为 GitHub 中的开源库提供，以便您可以在任何地方运行它。示例笔记本向您展示如何以编程方式对任何 FM（包括未托管在 AWS 上的模型）运行评估，以及如何将 FM 评估与 SageMaker MLOps 和治理工具（例如 SageMaker Pipelines、SageMaker Model Registration 和 SageMaker Model Cards）集成。
人工评估

人工评估

一些评估标准是微妙的或主观的，需要通过人工判断进行评测。除了基于指标的自动化评估之外，您还可以要求人工（您自己的员工或 AWS 管理的评估团队）根据有用性、语气和对品牌声音的遵守等维度评估模型输出。人工评估员还可以检查与公司特定指南、术语和品牌声音的一致性。设置自定义说明来指导您的评估团队如何评估提示，例如通过排名或表示赞成/反对。
模型质量评估

模型质量评估

使用自动和/或人工评估来评估您的 FM，以确定它是否为您的特定生成式人工智能任务提供高质量的响应。使用针对特定生成式人工智能任务（例如摘要、问答（Q&A）和分类）量身定制的特定评估算法（例如 Bert Score、Rouge 和 F1）来评估模型准确性。当提示对输入进行语义保留扰动（例如 ButterFingers、随机大写和空格添加删除）时，检查 FM 输出的语义稳健性。
模型责任评估

模型责任评估

通过自动和/或人工评估，评估您的基础模型在编程时引入刻板印象以及种族/肤色、性别/性别认同、性取向、宗教、年龄、国籍、残疾、外貌和社会经济地位等类别的风险。您还可以评估毒舌内容的风险。这些评估可以应用于任何涉及内容生成的任务，包括开放式生成、摘要和问题解答。

模型预测

SageMaker Experiments 中训练模型的功能重要性图表的屏幕截图

解释模型预测

SageMaker Clarify 与 SageMaker Experiments 集成，提供评分，以详细说明哪些特征对表格、自然语言处理（NLP）及计算机视觉模型的特定输入的模型预测贡献最大。对于表格数据集，SageMaker Clarify 还可以输出聚合特征重要性图表，提供对模型整体预测过程的见解。这些详细信息有助于确定特定模型输入对整体模型行为的影响是否比预期的影响更大。
SageMaker Model Monitor 中的功能重要性监控屏幕截图

监控模型的行为变化

实时数据的变化可能会暴露模型的新行为。例如，在某个地理区域数据上训练的信用风险预测模型应用于另一个区域的数据时，可能会改变该模型对各种特征的重要性。SageMaker Clarify 与 SageMaker Model Monitor 集成，以在输入特征重要性改变并因此导致模型行为变化时，通过 CloudWatch 等警报系统提醒您。

检测偏差

SageMaker Data Wrangler 中数据准备期间的偏差指标屏幕截图

识别数据中的不平衡

SageMaker Clarify 可帮助您识别数据准备过程中的潜在偏差，而无需编写代码。您可以指定输入特征，例如性别或年龄，随后 SageMaker Clarify 会运行分析任务来检测这些特征中的潜在偏差。然后，SageMaker Clarify 将提供一份可视化报告，其中描述了潜在偏差的指标和衡量方法，以便您确定纠正偏差的步骤。如果出现数据不平衡，您可以使用 SageMaker Data Wrangler 来进行平衡。SageMaker Data Wrangler 提供三种平衡运算符：随机欠采样、随机过采样和 SMOTE，以重新平衡不平衡数据集中的数据。

了解更多
SageMaker Experiments 中训练模型的偏差指标屏幕截图

检查经过训练的模型有无偏差

模型训练完成后，您可以通过 Amazon SageMaker Experiments 运行 SageMaker Clarify 偏差分析来检查模型是否存在潜在偏差，例如某项预测对一组产生负面结果的频率高于对另一组产生负面结果的频率。您指定要测量模型结果偏差的输入特征，然后，SageMaker 将运行分析并为您提供可视化报告，识别每个特征的不同类型偏差。AWS 开源方法 Fair Bayesian Optimization 可通过调整模型的超参数来帮助减小偏差。

了解更多
SageMaker Model Monitor 中的偏差监控屏幕截图

监控您部署的模型是否存在偏差

如果训练数据与模型在部署期间发现的实时数据不同，则部署的机器学习模型中可能会引入偏差或加剧偏差。例如，如果用于训练模型的抵押贷款利率与当前的抵押贷款利率不同，则用于预测房价的模型输出可能会出现偏差。SageMaker Clarify 偏差检测功能已集成到 Amazon SageMaker Model Monitor 中，因此，当 SageMaker 检测到超过特定阈值的偏差时，它会自动生成指标，您可以在 Amazon SageMaker Studio 中或通过 Amazon CloudWatch 指标和警报查看这些指标。

最新资讯

  • 日期（最新到最老）
未找到任何结果
1 …
…