Tag: Amazon SageMaker

近两年，机器学习已经渗透到各行各业，各种人工智能和机器学习的应用蓬勃发展，在其背后实际上会有一个完善的机器学习平台和流水线来支撑模型的开发、测试和迭代。但是这样一个系统性的平台，往往需要通过整合基础架构层和平台层来完成。在本篇Blog中，我们将展现如果通过AWS的服务构建云原生的机器学习流水线。

本文向大家介绍了Amazon SageMaker的计费标准，根据机器学习项目内各个阶段正确调整Amazon SageMaker计算资源大小的最佳实践，以及如何通过自动停止闲置的按需notebook实例以避免产生非必要运营成本的具体方法。最后，我们还分享了如何自动检测Amazon SageMaker端点以保证不致发生误删情况。

《金融服务中的机器学习最佳实践》白皮书旨在帮助大家了解如何建立起安全且具有良好治理水平的机器学习工作流，大家也可以结合实际疑问与作者取得联系。在您的机器学习探索之旅中，不妨随时参阅另一份白皮书以了解适用于机器学习工作负载的AWS架构设计原则。

利用SageMaker Operator可以实现从本地的，自建的Kubernetes集群中，对AWS SageMaker 进行训练任务的提交和管理。

本文使用了 SageMaker BlazingText 实现了文本多分类。在样本不均衡问题上，使用了回译和 EDA 两个方法对少类别样本进行了过采样处理，其中回译方法调用了 AWS Translate 服务进行了翻译再翻译，而 EDA 方法主要使用同义词替换、随机插入、随机交换、随机删除对文本数据进行处理。 本文也使用了AWS SageMaker 的自动超参数优化来为 BlazingText 的文本分类算法找到最优超参数。

在Amazon SageMaker上以管道模式使用Horovod的多GPU或分布式训练方法，能够为数据集的各个分片创建独立的训练通道并在数据通道内访问对应分片，借此实现大规模模型训练。这种方式能够缩短在实际训练开始之前将数据集传输至训练实例所占用的时间，因此特别适用于具有大规模训练数据集的Amazon SageMaker训练场景。

在本文中，我们演示了如何在您的运行环境中接入各类数据源，包括Amazon EMR上的Hive与PrestoDB、Amazon Athena、Amazon Redshift以及MySQL兼容型Amazon Aurora集群等，并借此经由Amazon SageMaker实现分析、剖析并运行统计计算。您也可以通过JDBC将同一方法扩展到其他数据源。

Amazon SageMaker可帮助用户在端点之上运行多个生产变体，从而轻松对生产环境中的ML模型进行A/B测试。大家可以使用SageMaker提供的功能配合不同训练数据集、超参数、算法以及ML框架测试由此训练出的模型，了解它们在不同实例类型上的执行性能，并将各项因素整合起来形成不同搭配。我们还可以在端点上的各变体之间进行流量分配，Amazon SageMaker会根据指定的分发方式将推理流量拆分并分发至各个变体。

Amazon SageMaker支持从数据注释、到生产部署、再到运营监控的整个ML开发周期。正如Olexya与SNCF Réseau的工作所示，Amazon SageMaker具有良好的框架中立性，能够容纳各类深度学习工作负载及框架。除了预先为Sklearn、TensorFlow、PyTorch、MXNet、XGBoost以及Chainer创建配套Docker镜像与SDK对象以外，您也可以使用自定义Docker容器，几乎任何框架，如PeddlePaddle、Catboost、R以及Caffe2。

本文引导大家为Amazon SageMaker notebook实例创建自定义持久R环境。关于Amazon SageMaker上的R notebooks，请参阅Amazon SageMaker示例GitHub repo。关于创建基于R内核的Amazon SageMaker notebook实例的更多详细信息，请参考在Amazon SageMaker notebook实例上使用R代码博文。