发布于: Jun 7, 2023

今天,AWS 宣布在机器学习工作流管理服务 SageMaker Pipelines 中推出一项新功能。这项新功能可让用户在管道中以子工作流的形式运行所需步骤。借助这项名为“选择性执行”的新功能,您可以在管道中运行选定步骤,同时避免重新运行整个管道。作为迭代管道以便进行大规模机器学习模型试验和部署的数据科学家、应用科学家或机器学习工程师,您可以使用此功能针对所需步骤启动管道执行、节省数小时的处理时间,以及简化对用于执行的代码的管理。

在 SageMaker Pipelines 中迭代机器学习模型工作流时,您可以使用选择性执行功能尝试对运行时参数(例如实例类型和数量)进行各种配置。您可以选择管道中的步骤,并提供过去的执行作为参考。非选定步骤的输出将自动从参考执行中获取,从而避免重新运行这些步骤。因此,在机器学习模型的试验和生产阶段,当您在多次迭代中运行工作流时,选择性执行可以帮助您节省时间和基础设施资源成本。

您可以通过 PythonSDK 在 SageMaker Studio 笔记本中运行选择性执行,并使用可共享和可重复的代码进行协作。这项新功能可以在提供 SageMaker Pipelines 的所有 AWS 公共区域使用。在此处了解有关 Amazon SageMaker Pipelines 的更多信息,在此处的选择性执行部分找到详细的开发人员指南。