发布于: Nov 29, 2023
今天，我们很高兴地宣布全面推出 Amazon SageMaker Pipelines 简化的开发人员体验。经过改进的 Python SDK 使您能够使用熟悉的 Python 语法快速构建机器学习 (ML) 工作流。该 SDK 的主要功能包括用于自定义步骤的新 Python 装饰器 (@step)、笔记本作业步骤类型和工作流调度器。
ML 开发通常从整体式 Python 代码开始，用于在本地开发环境（例如Jupyter 笔记本）中进行实验，然后您决定通过解耦的管道步骤自动执行。通过全新的 Amazon SageMaker Pipelines 开发人员体验，您可以在几分钟内将 ML 代码转换为包含各种 ML 步骤的自动有向无环图 (DAG)。要创建 ML 工作流，请使用“@step”装饰器注释您现有的 Python 函数，并将最后一个步骤传递给管道创建 API。Amazon SageMaker 将自动解读带注释的 Python 函数之间的依赖关系，为每个函数创建自定义管道步骤，并生成管道 DAG。如果您的 ML 代码分布在多个 Python 笔记本上，您可以将其链接在一起来编排笔记本作业的工作流。稍后，如果您想定期自动执行该工作流，可以在新的 Python SDK 中进行一次函数调用来配置执行计划。
首先，使用 GitHub 上预先构建的示例笔记本之一创建 ML 工作流，然后在 Amazon SageMaker Studio UI 中将其可视化。有关更多信息，请参阅 Amazon SageMaker Pipelines 开发人员指南。