发布于: Dec 8, 2020

我们很高兴地宣布 Amazon SageMaker 调试程序宣布推出新功能,可以实时监控系统资源以确保高效利用。借助这些新功能,您现在自动可以获得有关为训练作业重新分配资源的建议,以帮助更好地执行训练并降低时间消耗和成本。

Amazon SageMaker 调试程序Amazon SageMaker 的一项功能,可以获取学习梯度和权重等实时指标、直观地显示整个训练过程,让您能够纠正丢失、过拟合和过度训练等异常情况,从而轻松提高机器学习模型的训练速度。SageMaker 调试程序提供一种称为规则的内置方法,可轻松分析发出的数据(包括对于训练作业的成功至关重要的张量),例如确定尽管模型的训练准确度超过 90%,但机器学习模型仍将左转交通信号预测为右转交通信号的原因。 

借助新推出的分析功能,SageMaker 调试程序现在会自动监控 CPU、GPU、网络、I/O 和内存等系统资源,从而让您全面了解训练作业的资源利用率。您还可以分析整个训练作业或其中的任何部分,从而在训练作业的不同阶段发出详细的框架指标。框架指标是从训练脚本内部捕获的指标,例如步长、数据加载、预处理以及 CPU 和 GPU 上的运算符执行时间。SageMaker 调试程序将系统指标和框架指标相关联,这可帮助您确定 GPU 利用率降至零等问题的可能根本原因,从而让您能够检查自己的训练脚本并相应排查问题。您还可以根据分析报告中的建议重新分配资源,从而缩短训练时间并降低成本。指标和见解将使用 SageMaker Python 开发工具包以程序化的方式捕获和监控,也可以通过 Amazon SageMaker Studio 直观地捕获和监控。 

Amazon SageMaker 调试程序现已在美洲和欧洲的所有 AWS 区域以及亚太地区的部分区域正式推出,且将在更多区域推出。请参阅文档以获取更多信息和示例笔记本。要了解如何使用 SageMaker 调试程序新推出的分析功能,请访问此博客文章。