Category: Amazon Machine Learning

PyTorch 是一个常见的深度学习框架，它使用动态计算图形。借助它，您可以使用命令语言和常用的 Python 代码轻松开发深度学习模型。推理是使用训练模型进行预测的过程。对于使用 PyTorch 等框架的深度学习应用程序，推理成本占计算成本的 90%。由于深度学习模型需要不同数量的 GPU、CPU 和内存资源，为推理选择适当的实例有难度。在一个独立的 GPU 实例上对其中一个资源进行优化通常会导致其他资源利用不足。因此，您可能要为未使用的资源付费。

随着 AI 在医疗领域的快速运用与推广，越来越多医疗用户在AWS寻求弹性，安全，高效，高可用的解决方案。此外，基于医疗的行业属性，医疗用户要求在云上的机器学习流程一方面与 AWS 其它产品如监控，安全，审计等服务集成，以符合 HIPAA 要求；另一方面能贴合本地业务环境无缝集成，灵活部署。随着益体康，晶态科技等优秀的医疗+AI用户通过在 AWS 上快速搭建服务平台，极大缩短了产品从构想、开发，再到部署的时间，越来越多的用户发现 AWS 技术上的优势可以让医疗 AI 用户的模型训练变得更为轻松。这篇blog旨在以开源的医疗影像数据与语义分割算法为例，探索 Amazon SageMaker 加速自定义医疗 AI 影像分割算法构建的业务场景与优势。

基于深度学习的图像分类的研究与应用已经进行的如火如荼，对大部分的业务场景来说，更是有着深刻的现实意义 – 基于图片的互联网分享社交应用，如何借助深度学习在第一时间对用户分享的图片进行实时监测，分类是一个比较典型的应用场景；又例如，电商运营可能希望对所有的产品照片按照产品属性进行自动化分类，减少人工分类的工作；另外，在工业生产线的良品率基于产品图片的自动筛检，以及辅助医疗领域对病理图片的分类等等场景都有着十分广泛的应用前景和实用价值。

今天,随着电子商务规模的不断扩大，商品种类快速增长，顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关信息和产品的过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题，个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台，以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。区别于传统的规则推荐，个性化推荐算法通常使用机器学习甚至深度学习算法，对于用户信息与其行为信息充分挖掘，进而进行有效的推荐。

利用业内数据构建知识图谱是很多客户正在面临的问题，其中中文命名实体识别（Named Entity Recognition，简称NER）是构建知识图谱的一个重要环节。我们在与客户的交流中发现，现有的NER工具（比如Jiagu）对于特定领域的中文命名实体识别效果难以满足业务需求，而且这些工具很难使用自定义数据集训练。因此客户迫切想使用业内最先进的算法在行业内数据集上进行训练，以改进现有NER工具的不足。本文将介绍如何使用Amazon SageMaker运行基于TensorFlow的中文命名实体识别。

在 2019 年的 WAIC（世界人工智能大会）上，笔者在 AWS 展台中布置并展示了一个使用 DeepAR 进行时间序列预测的项目，受到了广泛的来自客户、参观者以及同事的关注，其中大部分是被展示项目中真实的电商客户的数据及成果吸引，进行了一定的经验交流。在得到肯定之后，笔者在年前又与部分互联网、旅游行业的业务负责人沟通，发现时间序列预测有着广泛的适用场景，能直接帮助决策者做出有数据支撑的重要决策。

毋庸置疑，机器学习，在商业中有着广泛的应用场景，但是通常来讲我们却只能看到只有一些高级玩家、大公司才能在他们的业务场景中真正的使用机器学习（Machine Learning，后面用ML简写）来解决业务问题。这背后是有各种各样的原因的，其中最主要的两个原因：一个在于，相比传统的业务系统，机器学习的硬件价格高，一块v100的显卡价格昂贵，中小公司难以负担；另外一个难点在于，相比传统的业务系统，机器学习对于工程师的要求不同，专注于机器学习的数据科学家需要掌握特殊的技能，相关人才在市场上炙手可热，而且对于企业来说，即便找到了数据科学家，搭建和维护用于机器学习的相关系统也并非易事。

机器学习 (ML) 已经常态化应用于各个行业，但除了简单的预测场景之外，还有更为复杂的决策制定场景，为了支持长期的战略性目标，人们有时会选择，甚至必须作出非最优的短期决策。利用一种叫做强化学习 (RL) 的 ML 模型，可以学习如何优化策略，从而根据长期目标制定系列决策。

本文将引领读者，从工程实践角度出发，借助 AWS 机器学习相关云计算服务，基于 PyTorch 机器学习框架，构建第一个生成对抗网络，开启全新的、有趣的机器学习和人工智能体验。

Amazon SageMaker Operator 可以帮助数据科学家以及开发人员利用Kubernetes的接口来创建和管理SageMaker的任务，如机器学习的模型训练、超参优化、批量转换以及实时推理等。如图所示，SageMaker Operator可以让 开发与运维人员可以通过kubectl命令行或者kubernetes api接口调用的方式来管理和使用SageMaker服务，它就像翻译器一样，在Kubernetes平台与AWS SageMaker 服务之间搭建了一座桥梁，让那些已经很很熟悉Kubenretes 的开发、运维人员在无需投入过多精力的情况下，即可快速地使用SageMaker服务。