自动检测模型和数据漂移并接收有关不准确预测的提醒，以便您采取纠正措施
与 Amazon SageMaker Clarify 集成，以帮助在 ML 模型部署到生产后识别其中的潜在偏差
数据收集和监控
使用 Amazon SageMaker 模型监控器，您可以选择您想要监控和分析的数据，而不需要编写任何代码。SageMaker 模型监控器允许您从预测输出等选项菜单中选择数据，并捕获时间戳、模型名称和终端节点等元数据，以便您可以基于元数据分析模型预测。在高流量实时预测的情况下，您可以将数据捕获的采样率指定为总流量的百分比，并且将这些数据存储在您自己的 Amazon S3 存储桶中。您还可以加密这些数据，配置精细的安全性，定义数据保留策略，并实施访问控制机制以实现安全访问。
内置分析
Amazon SageMaker 模型监控器以统计规则的形式提供内置分析，以检测数据和模型质量的漂移。您还可以编写自定义规则，并为每个规则指定阈值。这些规则可以用来分析模型性能。SageMaker 模型监控器对收集的数据运行规则、检测异常，并记录违反规则的情况。
可视化
Amazon SageMaker 模型监控器发出的所有指标都可以在 Amazon SageMaker Studio 中收集和查看，因此您可以直观地分析您的模型性能，而无需编写额外的代码。您不仅能够可视化您的指标，还可以在 SageMaker 笔记本实例中运行临时分析，以更好地理解您的模型。
正在进行的模型预测
Amazon SageMaker 模型监控器允许您从机器学习应用程序中摄取数据，用于计算模型性能。数据存储在 Amazon S3 中，并通过访问控制、加密和数据保留策略加以保护。
监控安排
您可以通过 Amazon SageMaker 模型监控器安排监控作业，来监控您的机器学习模型。您可以自动启动监控作业来分析给定时间段内的模型预测。您也可以在 SageMaker 终端节点上设置多个计划。
与 Amazon SageMaker Clarify 集成
Amazon SageMaker 模型监控器与 Amazon SageMaker Clarify 集成，从而更清晰地了解潜在偏差。虽然您的初始数据或模型可能没有发生偏差，但环境的变化可能会导致已经过训练的模型中随着时间的推移产生偏差。例如，如果某些群体没有在原始训练数据中出现，则购房者人口统计数据的重大变化可能会导致住房贷款申请模型出现偏差。与 SageMaker Clarify 的集成使您能够配置警报系统，如 Amazon CloudWatch，以便在您的模型开始出现偏差时通知您。
报告和警报
监控作业生成的报告可以保存在 Amazon S3 中，以供进一步分析。Amazon SageMaker 模型监控器向 Amazon CloudWatch 发送指标。在 Amazon CloudWatch 中，您可以使用通知来触发警报或纠正措施，例如重新训练模型或审核数据。这些指标包括违反的规则和时间戳信息等信息。SageMaker 模型监控器还与其他可视化工具集成，包括 Tensorboard、Amazon QuickSight 和 Tableau。
使用案例
离群值或异常值
使用 Amazon SageMaker 模型监控器检测预测超出预期范围或处于预期边缘的情况，如最小值或最大值。例如，如果您预计温度在 65℉ 到 75℉ 之间，则 50℉ 就是一个出界的结果。这种超出界限的结果将被警告为异常。
数据漂移
使用 Amazon SageMaker 模型监控器来检测预测因实际情况（如传感器老化导致的传感器读数不准确）而产生偏差的情况。Amazon SageMaker 模型监控器通过将实际数据与基线数据集（如训练数据集或评估数据集）进行比较来检测数据倾斜。
实际观察
实际环境中经常会引入新的数据，因此您希望能够调整模型，以便将新的特征考虑在内。例如，需要为自动驾驶汽车更新自动驾驶模型，以检测道路上的新物体。Amazon SageMaker 模型监控器检测新的观察结果，以便您的模型始终保持最新状态。