发布于: Dec 3, 2019
Amazon SageMaker 模型监控器是 Amazon SageMaker 的一项新功能，可持续监控生产环境中的机器学习 (ML) 模型、检测数据偏离等偏差（这些偏差会随着时间的推移降低模型性能），以及提醒您采取补救措施。
ML 模型通过从模型训练期间使用的数据中学习模式来进行预测。在将模型部署到生产环境中之后，随着时间的推移，现实世界中的数据开始与用于训练模型的数据有所差异，导致模型质量出现偏差，并最终导致模型准确性降低。例如，日新月异的经济条件可能会推动新利率出台，从而影响购房预测。Amazon SageMaker Model Monitor 提供了完全托管的体验，可以监控生产环境中的模型、检测偏差并及时采取措施（例如审核或重新训练模型）。
借助 Amazon SageMaker Model Monitor，您可以轻松地从终端节点收集预测请求和响应、分析生产环境中收集的数据，并将其与您的训练或验证数据进行比较以检测偏差。您可以使用 SageMaker 模型监控器的内置规则即刻检测结构化数据集的偏差、在运行内置规则之前添加数据转换，也可以编写自己的自定义规则。可以安排监控作业按常规节奏运行（例如每小时或每天运行一次），将摘要指标推送到 Amazon CloudWatch，以便您可以设置警报和触发器来采取纠正措施，并支持 Amazon SageMaker 支持的多种实例类型。
在 Amazon SageMaker 中部署模型并启用带有内置规则和 ml.m5.xlarge 实例的 Model Monitor 时，您可以每月免费在所有终端节点上获得总计多达 30 个小时的监控时间。