Category: Amazon Machine Learning

本博文将引导您完成构建数据管道所需的全部步骤—从使用 AWS Glue，为您在 Amazon S3 中的数据创建元数据爬取程序，进行数据发现与编目；到使用 Amazon Athena 检索表数据，以及通过 Amazon SageMaker Notebooks查询 Athena 表。

创建一个可靠、高效的机器学习推理服务需要做很多的投入。拿一个基于 XGBoost 模型的服务来说，开发人员需要创建一个完善的应用程序，例如通过 Flask 来加载模型，然后运行终端节点。创建这个应用程序，开发人员需要考虑队列管理、无故障部署以及重新加载新训练的模型等等事宜。应用开发好后被打包成容器镜像，然后推送到镜像仓库。Kubernetes 从镜像仓库拉取该镜像在集群上进行部署，部署好后才可以对外提供服务。这些步骤需要您的数据科学家从事与提高模型准确性无关的任务，或引进devops工程师来做这些工作。这些过程加到开发计划中，必然会需要更多的时间进行服务迭代。

TensorFlow 是广泛被用于开发大型深度神经网络 (DNN) 的开源机器学习 (ML) 库，此类 DNN 经常会在多个主机上使用多个 GPU进行分布式训练。Amazon SageMaker 是一项托管服务，能够简化 ML 的工作流程，包括集成了主动学习的数据标记、超参数优化、模型分布式训练、监控训练进展、部署模型并提供自动扩展的 RESTful 服务集群、以及对并发 的ML 多项实验进行集中式管理等。
本文将重点讨论如何使用 Amazon SageMaker 进行基于TensorFlow的分布式训练。

本博文介绍了 Amazon SageMaker 多模型终端节点，并演示了如何应用这项新功能通过 XGBoost 来预测各个细分市场的房屋价格。本博文演示了在多模型终端节点上同时部署10个模型，也演示了在 10 个独立的终端节点上分别部署 10 个模型，并对这两种使用情形进行了对比。如下图所示，前者相比后者每月节省了 3000 美金的成本。

AWS 很高兴地宣布正式推出 Amazon SageMaker Operators for Kubernetes。这项新功使得开发人员和数据科学家能更轻松地使用 Kubernetes 在 Amazon SageMaker 中训练、调优和部署机器学习 (ML) 模型。您可以在 Kubernetes 集群上安装这些operartors，以使用 Kubernetes API 和Kubernetes命令行工具（例如 kubectl）在集群创建 原生的Amazon SageMaker 任务。有关更多信息，请参阅白皮书 – 使用 Amazon SageMaker 和 Kubernetes 进行机器学习。

今天，AWS 宣布推出了数种轻松地向应用程序和BI控制面板中添加机器学习预测能力的新方法。仅需在您的结构化查询语言 (SQL) 中添加一些语句，在Amazon QuickSight中进行几次点击，即能轻松使用您的 Amazon Aurora 数据库中的关系型数据或Amazon S3 中的非结构化数据，为应用程序和商业智能 (BI) 控制面板添加机器学习 (ML) 预测。Aurora、Amazon Athena 和 Amazon QuickSight 可以直接调用 Amazon SageMaker 和 Amazon Comprehend 等 AWS ML 服务，因此您无需从自己的应用程序中调用它们。这使得您可以以更直接的方式向应用程序添加 ML 预测，无需构建定制集成，来回复制数据，学习多种独立工具，编写多行复杂代码等等，甚至无需具备 ML 经验。

得益于诸如 Amazon SageMaker 和 AWS Data Exchange 等云服务，现在实施机器学习 (ML) 比以往更加容易。本博文将介绍如何使用 AWS Data Exchange 和 Amazon SageMaker 构建模型，以预测纽约市餐厅的餐厅等级。我们使用 AWS Data Exchange中的数据集（包含 23372 个餐厅检查等级和分数）和 Amazon SageMaker中的线性学习器算法训练和部署模型。

本博客将引导您使用 Amazon Textract 和 Amazon Comprehend 作为存储和分析扫描图像文档的自动化内容处理管道，以此创建由 NLP 提供支持的搜索索引。有关 PDF 文档的处理，请参阅 AWS 示例 Github 存储库，以使用文本提取器。

汽车厂商在车辆中不断增加新的功能、用户界面和人工智能特性。同时，也发布了各种用户使用手册，详细介绍如何使用这些功能。然而这些用户手册往非常繁琐，包含不同的语言，长度长达数百页。因此，车主常常难以搜索到与特定功能相关的信息。车厂也曾尝试使用视频或移动应用替代纸质手册，但并没有改进用户体验，很多车主仍然不知道如何充分利用了汽车厂商提供的所有创新功能。

Amazon SageMaker Ground Truth 可帮助您快速构建高度准确的机器学习 (ML) 训练数据集。利用 Ground Truth，可以方便地找到您自己的人工标记工作者，并为他们提供用于常见添加标签任务的内置工作流和界面。此外，Ground Truth 还可以使用自动添加标签功能将添加标签的成本降低多达 70％，其中自动添加标签的工作原理是利用人工添加标签的数据来训练 Ground Truth，从而使这项服务学会独立为数据加标签。