亚马逊AWS官方博客

Tag: Amazon SageMaker

使用 Amazon SageMaker Operator 简化 Kubernetes 上的机器学习推理

创建一个可靠、高效的机器学习推理服务需要做很多的投入。拿一个基于 XGBoost 模型的服务来说,开发人员需要创建一个完善的应用程序,例如通过 Flask 来加载模型,然后运行终端节点。创建这个应用程序,开发人员需要考虑队列管理、无故障部署以及重新加载新训练的模型等等事宜。应用开发好后被打包成容器镜像,然后推送到镜像仓库。Kubernetes 从镜像仓库拉取该镜像在集群上进行部署,部署好后才可以对外提供服务。这些步骤需要您的数据科学家从事与提高模型准确性无关的任务,或引进devops工程师来做这些工作。这些过程加到开发计划中,必然会需要更多的时间进行服务迭代。

Read More

使用 Amazon SageMaker 运行分布式 TensorFlow 训练

TensorFlow 是广泛被用于开发大型深度神经网络 (DNN) 的开源机器学习 (ML) 库,此类 DNN 经常会在多个主机上使用多个 GPU进行分布式训练。Amazon SageMaker 是一项托管服务,能够简化 ML 的工作流程,包括集成了主动学习的数据标记、超参数优化、模型分布式训练、监控训练进展、部署模型并提供自动扩展的 RESTful 服务集群、以及对并发 的ML 多项实验进行集中式管理等。
本文将重点讨论如何使用 Amazon SageMaker 进行基于TensorFlow的分布式训练。

Read More

通过使用 Amazon SageMaker 多模型终端节点节省推理成本

本博文介绍了 Amazon SageMaker 多模型终端节点,并演示了如何应用这项新功能通过 XGBoost 来预测各个细分市场的房屋价格。本博文演示了在多模型终端节点上同时部署10个模型,也演示了在 10 个独立的终端节点上分别部署 10 个模型,并对这两种使用情形进行了对比。如下图所示,前者相比后者每月节省了 3000 美金的成本。

Read More

隆重推出 Amazon SageMaker Operators for Kubernetes

AWS 很高兴地宣布正式推出 Amazon SageMaker Operators for Kubernetes。这项新功使得开发人员和数据科学家能更轻松地使用 Kubernetes 在 Amazon SageMaker 中训练、调优和部署机器学习 (ML) 模型。您可以在 Kubernetes 集群上安装这些operartors,以使用 Kubernetes API 和Kubernetes命令行工具(例如 kubectl)在集群创建 原生的Amazon SageMaker 任务。有关更多信息,请参阅白皮书 – 使用 Amazon SageMaker 和 Kubernetes 进行机器学习。

Read More

使用 AWS Data Exchange 和 Amazon SageMaker 构建机器学习工作流

得益于诸如 Amazon SageMaker 和 AWS Data Exchange 等云服务,现在实施机器学习 (ML) 比以往更加容易。本博文将介绍如何使用 AWS Data Exchange 和 Amazon SageMaker 构建模型,以预测纽约市餐厅的餐厅等级。我们使用 AWS Data Exchange中的数据集(包含 23372 个餐厅检查等级和分数)和 Amazon SageMaker中的线性学习器算法训练和部署模型。

Read More

使用 Amazon SageMaker 降低机器学习的总体拥有成本并提高工作效率

总体拥有成本 (TCO) 通常是您会用于估计与比较 ML 成本的财务指标。本文针对Amazon SageMaker (这是一个用来构建、训练与部署 ML 模型的全托管服务)做了TCO分析,结果表明,它的 TCO 在三年时间里比其他方式如自己通过 Amazon EC2 或 Amazon EKS来建设要低 54%。我们的分析范围涵盖了从只有五位数据科学家的小团队到由 250 位数据科学家组成的超大型团队,结论是 Amazon SageMaker 能为各种规模大小不同的团队都提供更出色的 TCO。

Read More