亚马逊AWS官方博客

Tag: Amazon SageMaker

无代码机器学习:AutoGluon、Amazon SageMaker 与 AWS Lambda 合力加持 AutoML

在本文中,我们介绍了如何在无需编写任何代码的前提下,实现ML模型的训练与推理预测。AutoGluon、Amazon SageMaker以及AWS Lambda的密切配合最终让这一看似不可能的任务成为现实。大家可以使用本文中的示例无代码管道实现ML功能,整个过程轻松便捷,不需要任何编程或数据科学方面的专业知识。

Read More

使用 Amazon SageMaker Processing 与 AWS Step Functions 构建机器学习工作流

机器学习(ML)工作流负责编排并自动执行机器学习任务序列,包括数据收集,机器学习模型的训练、测试与评估,外加模型部署。AWS Step Functions能够在端到端工作流中编排并自动执行与 Amazon SageMaker相关的各项机器学习任务。AWS Step Functions数据科学软件开发工具包( AWS Step Functions Data Science Software Development Kit,简称SDK)是一套开源库,使您得以轻松创建包含数据预处理、模型训练和部署的工作流。您可以使用Python创建机器学习工作流,而无需分别设置及整合各项AWS服务。

Read More

在 AWS 上构建云原生机器学习流水线

近两年,机器学习已经渗透到各行各业,各种人工智能和机器学习的应用蓬勃发展,在其背后实际上会有一个完善的机器学习平台和流水线来支撑模型的开发、测试和迭代。但是这样一个系统性的平台,往往需要通过整合基础架构层和平台层来完成。在本篇Blog中,我们将展现如果通过AWS的服务构建云原生的机器学习流水线。

Read More

在Amazon SageMaker中正确设计资源规划、避免非必要成本

本文向大家介绍了Amazon SageMaker的计费标准,根据机器学习项目内各个阶段正确调整Amazon SageMaker计算资源大小的最佳实践,以及如何通过自动停止闲置的按需notebook实例以避免产生非必要运营成本的具体方法。最后,我们还分享了如何自动检测Amazon SageMaker端点以保证不致发生误删情况。

Read More

利用 AWS SageMaker BlazingText 对不均衡文本进行多分类

本文使用了 SageMaker BlazingText 实现了文本多分类。在样本不均衡问题上,使用了回译和 EDA 两个方法对少类别样本进行了过采样处理,其中回译方法调用了 AWS Translate 服务进行了翻译再翻译,而 EDA 方法主要使用同义词替换、随机插入、随机交换、随机删除对文本数据进行处理。 本文也使用了AWS SageMaker 的自动超参数优化来为 BlazingText 的文本分类算法找到最优超参数。

Read More

在 Amazon SageMaker 管道模式下使用 Horovod 实现多 GPU 分布式训练

在Amazon SageMaker上以管道模式使用Horovod的多GPU或分布式训练方法,能够为数据集的各个分片创建独立的训练通道并在数据通道内访问对应分片,借此实现大规模模型训练。这种方式能够缩短在实际训练开始之前将数据集传输至训练实例所占用的时间,因此特别适用于具有大规模训练数据集的Amazon SageMaker训练场景。

Read More