发布于: Dec 8, 2020
Amazon SageMaker 模型监控器可持续监控机器学习模型的概念漂移（即，数据分布和特性随着时间推移的变化），并在出现任何偏差时向您发出警报，以便您采取补救措施。即日起，您还可以使用 Amazon SageMaker 模型监控器来检测模型质量、偏差和功能重要性方面的偏移。通过这些全新的完全托管功能，SageMaker 模型监控器可以帮助您在生产中维护高质量的机器学习模型。
Amazon SageMaker 模型监控器目前支持检测数据质量漂移，方法是跟踪用于训练模型的数据与提供给模型进行评分的数据之间的差异，并提醒您存在偏差，以帮助您及时采取措施，例如审核数据或重新训练模型。今天，我们为 SageMaker 模型监控器添加了三个新功能，使您能够检测模型质量、模型偏差和功能重要性方面的偏移。
通过监控模型质量，您可以实时监控机器学习模型的模型特征（例如精度、准确性、召回率等）。SageMaker 模型监控器通过将模型预测与真实数据进行比较，来报告机器学习模型预测结果的效果。对模型进行监控时，您可以在 Amazon S3、Amazon SageMaker Studio 和 SageMaker 笔记本实例中查看详细描述模型质量的可导出报告和图表。您还可以配置 Amazon CloudWatch，以便在观察到模型质量偏移时收到通知。
偏差监控可帮助您定期检测机器学习模型中的偏差。SageMaker 模型监控器可以定期确定偏差指标何时漂移到统计上超过预设阈值的水平。通过模型监控器中的偏差监控功能，您可以在 SageMaker Studio 中查看指标并可视化显示结果。您还可以配置自动警报，以便在模型超出您设置的偏差指标阈值时立即收到提醒。
将模型部署到生产中之后，模型中某些功能的重要性和影响会随着时间的推移而改变。监控模型的可解释性可帮助您了解和解释机器学习模型所做的预测是否基于与您的模型训练时所用相同的功能和比例。启用可解释性跟踪后，SageMaker 模型监控器会自动检测功能的相对重要性的偏移，使您能够在 SageMaker Studio 中可视化显示这些更改，并且与所有其他 SageMaker 模型监控器功能一样，可以配置 Amazon CloudWatch 以在检测到漂移时主动向您发出警报。
可以为新的或现有的实时推理终端节点启用 Amazon SageMaker 模型监控器。启用后，SageMaker 模型监控器会将预测请求和响应保存在 Amazon S3 中，将模型预测与您提供的实际值进行比较，运行内置或自定义规则来检测相对于基准的偏移，并在出现偏差时向您发出警报。因此，您可以在整个组织中以标准化的方式监控数百个模型的数据质量、模型质量、模型偏差和功能重要性方面的偏移，而不必构建任何额外的工具。可以将监控作业安排为以固定的频率运行（例如，每小时或每天），并将报告和指标推送到 Amazon CloudWatch 和 Amazon S3。 监控结果也可以在 Amazon SageMaker Studio 中查看，您还可以使用 Amazon SageMaker 笔记本实例进一步分析结果。