工作原理

ML Governance with Amazon SageMaker 使用 SageMaker Role Manager、SageMaker Model Cards 和 SageMaker Model Dashboard 来帮助您简化访问控制并提高 ML 项目的透明度。

图表显示了如何使用 ML Governance with Amazon SageMaker,在几分钟内定义最低权限,集中和标准化模型文档,并通过统一的视图审核模型性能。

主要功能

您可以使用 SageMaker Role Manager 在几分钟内定义最低权限。

简化 ML 活动的权限

SageMaker Role Manager 通过预构建的 AWS Identity and Access Management (IAM) 策略目录为 ML 活动和角色提供一组基线权限。ML 活动可以包括数据准备和训练,角色可以包括 ML 工程师和数据科学家。您可以保留基线权限,或根据您的特定需求进一步自定义它们。

自动生成 IAM policy

通过一些自助提示,您可以快速输入常见的治理构造,例如网络访问边界和加密密钥。然后,SageMaker Role Manager 将自动生成 IAM policy。您可以通过 AWS IAM 控制台发现生成的角色和关联的策略。

附加您的托管策略

要进一步针对您的用例定制权限,请将您的托管 IAM 策略附加到您使用 SageMaker Role Manager 创建的 IAM 角色。您还可以添加标签以帮助跨 AWS 服务识别和组织角色。

用 SageMaker Model Cards 简化模型文档

获取模型信息

SageMaker 模型卡是 Amazon SageMaker 控制台中的模型信息存储库,帮助您集中和标准化模型文档,以便您能够可靠地实施 ML。您可以自动填充训练细节,如输入数据集、训练环境和训练结果,以加速文件编制过程。您还可以添加详细信息,例如模型目的和性能目标。

可视化评估结果

您可以在您的模型卡上附加模型评估结果,如偏差和质量指标,并添加可视化效果,如图表,以获得对模型性能的关键见解。

分享模型卡

您可以将模型卡导出为 PDF 格式,以便更轻松地与业务涉众、内部团队或客户共享。

使用 SageMaker Model Dashboard 进行统一的模型监控

跟踪模型行为

SageMaker Model Dashboard 为您提供已部署模型和端点的全面概览,以便您可以在同一位置跟踪资源和模型行为违规。你可以从四个方面监测模型行为:数据质量、模型质量、偏差漂移和特征归因漂移。SageMaker Model Dashboard 通过与 Amazon SageMaker Model Monitor 和 Amazon SageMaker Clarify 的集成来监控行为。

使用 SageMaker Model Dashboard 进行统一的模型监控

上面显示的风险评级仅用于说明目的,可能会因您提供的输入而有所不同。

自动提醒

SageMaker Model Dashboard 提供一种集成体验,可以针对缺失和无效的模型监控作业以及模型行为偏差设置和接收警报。

自动提醒

上面显示的风险评级仅用于说明目的,可能会因您提供的输入而有所不同。

排查模型偏差的故障

您可以进一步检查各个模型并分析随时间推移影响模型性能的因素。然后,您可以跟进 ML 从业者以采取纠正措施。

客户

united airlines 徽标

“在 United Airlines,我们使用机器学习(ML)通过提供个性化的服务来改善客户体验,使客户使用 Travel Readiness Center 做好准备。我们对 ML 的应用还扩展到了机场运营、网络规划、航班调度等方面。在我们走出新冠疫情之际,Amazon SageMaker 在 Travel Readiness Center 发挥了关键作用,使我们能够使用基于文档的模型自动化处理大量的 COVID 测试证书、疫苗卡。通过 Amazon SageMaker 新的治理功能,我们提高了对机器学习模型的控制力和可见性。SageMaker Role Manager 通过为与 IAM 角色相关的每个角色提供基线权限和 ML 活动,极大地简化了用户设置过程。通过 SageMaker Model Cards,我们的团队可以主动捕捉和分享模型信息,以供审查,而使用 SageMaker Model Dashboard,我们能够搜索和查看部署在 MARS(我们内部 ML 平台)上的模型。凭借这些新的治理功能,我们节省了大量的时间,并且得以纵向扩展。”

United Airlines ML 工程和运营总监 Ashok Srinivas

Capitec

“在 Capitec,我们产品线上的数据科学家们各有所长,可以构建不同的 ML 解决方案。我们的 ML 工程师们管理着一个建立在 Amazon SageMaker 上的集中式建模平台,以支持所有这些 ML 解决方案的开发和部署。由于没有任何内置的工具,跟踪建模工作往往会出现文档不连贯和模型不可见的情况。通过 SageMaker Model Cards,我们可以在一个统一的环境中跟踪大量的模型元数据,而 SageMaker Model Dashboard 为我们提供了每个模型性能的可见性。此外,SageMaker Role Manager 简化了我们不同产品线中数据科学家的访问管理过程。这些都有助于我们凭借治理模式,保证客户对我们作为金融服务提供商的信任。”

Capitec 银行 ML 工程师 Dean Matter

资源

最新资讯

关注最新的 SageMaker ML 治理公告,获取最新信息。

阅读更多 »
代码示例

从 GitHub 存储库下载代码示例。

立即试验 »
指南

查看技术文档以了解如何使用 SageMaker ML 治理功能。

阅读指南 »
指南

加快治理工具与 ML 工作负载的整合。

了解更多 »
博客文章

详细了解 SageMaker 的新 ML 治理工具。

阅读博客 »
视频

来自 AWS re:Invent 2022 的“在 SageMaker 中通过深度控制和透明度改进 ML 治理”会议。

立即观看 »
博客文章

深入了解 Amazon SageMaker ML 治理工具。

阅读博客 »
博客文章

使用 Amazon SageMaker Role Manager 在几分钟内定义自定义权限。

阅读博客 »