Tag: Amazon SageMaker

推荐系统的设计是一项艰巨的任务，有时需要对模型进行全面定制。在本文中，我们共同了解了如何在Amazon SageMaker当中从零开始实现、部署并调用NCF模型。以此为基础，大家可以运用自己的数据集打造出更适合自身场景的解决方案。

在本文中，我们介绍了如何在无需编写任何代码的前提下，实现ML模型的训练与推理预测。AutoGluon、Amazon SageMaker以及AWS Lambda的密切配合最终让这一看似不可能的任务成为现实。大家可以使用本文中的示例无代码管道实现ML功能，整个过程轻松便捷，不需要任何编程或数据科学方面的专业知识。

机器学习（ML）工作流负责编排并自动执行机器学习任务序列，包括数据收集，机器学习模型的训练、测试与评估，外加模型部署。AWS Step Functions能够在端到端工作流中编排并自动执行与 Amazon SageMaker相关的各项机器学习任务。AWS Step Functions数据科学软件开发工具包（ AWS Step Functions Data Science Software Development Kit，简称SDK）是一套开源库，使您得以轻松创建包含数据预处理、模型训练和部署的工作流。您可以使用Python创建机器学习工作流，而无需分别设置及整合各项AWS服务。

在使用SageMaker Operator提交任务的时候，往往会涉及到使用的算法和数据来自本地，本文介绍了如何利用SageMaker Operator的参数定义，能够让线上的SageMaker训练任务使用到本地的代码及数据。

近两年，机器学习已经渗透到各行各业，各种人工智能和机器学习的应用蓬勃发展，在其背后实际上会有一个完善的机器学习平台和流水线来支撑模型的开发、测试和迭代。但是这样一个系统性的平台，往往需要通过整合基础架构层和平台层来完成。在本篇Blog中，我们将展现如果通过AWS的服务构建云原生的机器学习流水线。

本文向大家介绍了Amazon SageMaker的计费标准，根据机器学习项目内各个阶段正确调整Amazon SageMaker计算资源大小的最佳实践，以及如何通过自动停止闲置的按需notebook实例以避免产生非必要运营成本的具体方法。最后，我们还分享了如何自动检测Amazon SageMaker端点以保证不致发生误删情况。

《金融服务中的机器学习最佳实践》白皮书旨在帮助大家了解如何建立起安全且具有良好治理水平的机器学习工作流，大家也可以结合实际疑问与作者取得联系。在您的机器学习探索之旅中，不妨随时参阅另一份白皮书以了解适用于机器学习工作负载的AWS架构设计原则。

利用SageMaker Operator可以实现从本地的，自建的Kubernetes集群中，对AWS SageMaker 进行训练任务的提交和管理。

本文使用了 SageMaker BlazingText 实现了文本多分类。在样本不均衡问题上，使用了回译和 EDA 两个方法对少类别样本进行了过采样处理，其中回译方法调用了 AWS Translate 服务进行了翻译再翻译，而 EDA 方法主要使用同义词替换、随机插入、随机交换、随机删除对文本数据进行处理。 本文也使用了AWS SageMaker 的自动超参数优化来为 BlazingText 的文本分类算法找到最优超参数。

在Amazon SageMaker上以管道模式使用Horovod的多GPU或分布式训练方法，能够为数据集的各个分片创建独立的训练通道并在数据通道内访问对应分片，借此实现大规模模型训练。这种方式能够缩短在实际训练开始之前将数据集传输至训练实例所占用的时间，因此特别适用于具有大规模训练数据集的Amazon SageMaker训练场景。