亚马逊AWS官方博客

Category: Amazon Machine Learning

使用 Amazon SageMaker Clarify 解释德甲赛况 xGoals

最激动人心的 AWS re:Invent 2020 公告之一是新增一项 Amazon SageMaker 功能,帮助检测机器学习 (ML) 模型中的偏差并解释模型预测:Amazon SageMaker Clarify。在当今世界,人们大规模运用 ML 算法进行预测,对于大型科技组织而言,能够向客户解释他们为什么会根据 ML 模型的预测做出某项决策正变得越来越重要。关键是,这直接摆脱了原有的基础模式,这种模式如同一个“封闭盒子”,我们可以观察输入和输出,但看不到内部运作情况。这不仅开辟了进一步分析的途径,以便对模型配置进行迭代和进一步改进,还为客户提供了前所未有的高水平模型预测分析。 Clarify 一个特别值得关注的使用案例来自 Deutsche Fußball Liga (DFL) 由 AWS 提供支持的德甲赛况,旨在提供有关 xGoals 模型预测的有趣见解。由 AWS 提供支持的德甲赛况在足球比赛期间,为世界各地的德甲球迷提供更具吸引力的球迷体验。它为观众提供有关射门难度的信息、他们最喜欢的球员的表现,并可说明球队的攻防趋势。 借助 Clarify,DFL 现在能够以互动的方式解释,在确定 ML 模型依靠什么来预测 xGoals 值时,需要使用哪些关键的基本特征。xGoal(预期进球的缩写)是经计算得出的球员从球场上任意位置射门得分的概率。了解各自的特征属性并解释相关结果有助于模型调试,从而提高预测质量。或许最重要的是,透明度的提高有助于建立对 ML 模型的信心和信任,为未来的合作和创新提供无数机会。更佳的可解释性可推动更广泛的采用。话不多话,我们一起详细了解一下吧! 德甲赛况 由 AWS 提供支持的德甲赛况为德甲比赛提供根据官方比赛数据实时生成的先进统计数据和深入见解。这些统计数据通过国内外广播公司以及 DFL 的平台、频道和应用程序提供给观众。如此一来,全球 5 亿多德甲球迷可以更深入地了解球员、球队和联赛,并获得更加个性化的体验和下一代统计数据。 通过德甲赛况 xGoals,DFL 可以评估球员从球场上任意位置射门得分的概率。实时计算每次射门的进球概率,以便让观众了解射门的难度和进球的几率。xGoals 值越高(所有值都介于 0 到 1 之间),进球的可能性就越大。在本博文中,我们将仔细研究这个 xGoals […]

Read More

基于Amazon SageMaker完成ERNIE机器学习任务(一)—— 通过自带容器方法实现自定义算法的模型预训练

在近日全球规模最大的语义评测比赛 SemEval 2020中,语义理解框架ERNIE斩获了包括视觉媒体的关键文本片段挖掘、多语攻击性语言检测和混合语种的情感分析等在内的5项世界冠军。它所提出的知识增强语义表示模型,以及2.0版本构建的持续学习语义理解框架,在中英文等多个任务上超越业界最好模型。尤其在多项中文NLP任务中,ERNIE的结果都能与 BERT 持平或有所提升。

Read More

使用 Amazon Elastic Inference 降低 Amazon SageMaker PyTorch 模型的机器学习推理成本

PyTorch 是一个常见的深度学习框架,它使用动态计算图形。借助它,您可以使用命令语言和常用的 Python 代码轻松开发深度学习模型。推理是使用训练模型进行预测的过程。对于使用 PyTorch 等框架的深度学习应用程序,推理成本占计算成本的 90%。由于深度学习模型需要不同数量的 GPU、CPU 和内存资源,为推理选择适当的实例有难度。在一个独立的 GPU 实例上对其中一个资源进行优化通常会导致其他资源利用不足。因此,您可能要为未使用的资源付费。

Read More

使用 Amazon SageMaker 加速自定义 AI 医疗影像算法构建

随着 AI 在医疗领域的快速运用与推广,越来越多医疗用户在AWS寻求弹性,安全,高效,高可用的解决方案。此外,基于医疗的行业属性,医疗用户要求在云上的机器学习流程一方面与 AWS 其它产品如监控,安全,审计等服务集成,以符合 HIPAA 要求;另一方面能贴合本地业务环境无缝集成,灵活部署。随着益体康,晶态科技等优秀的医疗+AI用户通过在 AWS 上快速搭建服务平台,极大缩短了产品从构想、开发,再到部署的时间,越来越多的用户发现 AWS 技术上的优势可以让医疗 AI 用户的模型训练变得更为轻松。这篇blog旨在以开源的医疗影像数据与语义分割算法为例,探索 Amazon SageMaker 加速自定义医疗 AI 影像分割算法构建的业务场景与优势。

Read More

基于 Amazon SageMaker 进行汽车型号的图像识别——一个基于深度学习迁移学习的端到端图像分类器

基于深度学习的图像分类的研究与应用已经进行的如火如荼,对大部分的业务场景来说,更是有着深刻的现实意义 – 基于图片的互联网分享社交应用,如何借助深度学习在第一时间对用户分享的图片进行实时监测,分类是一个比较典型的应用场景;又例如,电商运营可能希望对所有的产品照片按照产品属性进行自动化分类,减少人工分类的工作;另外,在工业生产线的良品率基于产品图片的自动筛检,以及辅助医疗领域对病理图片的分类等等场景都有着十分广泛的应用前景和实用价值。

Read More

使用 Amazon SageMaker 构建基于 gluon 的推荐系统

今天,随着电子商务规模的不断扩大,商品种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关信息和产品的过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。区别于传统的规则推荐,个性化推荐算法通常使用机器学习甚至深度学习算法,对于用户信息与其行为信息充分挖掘,进而进行有效的推荐。

Read More

使用 Amazon SageMaker 运行基于 TensorFlow 的中文命名实体识别

利用业内数据构建知识图谱是很多客户正在面临的问题,其中中文命名实体识别(Named Entity Recognition,简称NER)是构建知识图谱的一个重要环节。我们在与客户的交流中发现,现有的NER工具(比如Jiagu)对于特定领域的中文命名实体识别效果难以满足业务需求,而且这些工具很难使用自定义数据集训练。因此客户迫切想使用业内最先进的算法在行业内数据集上进行训练,以改进现有NER工具的不足。本文将介绍如何使用Amazon SageMaker运行基于TensorFlow的中文命名实体识别。

Read More

使用 DeepAR 进行时间序列预测

在 2019 年的 WAIC(世界人工智能大会)上,笔者在 AWS 展台中布置并展示了一个使用 DeepAR 进行时间序列预测的项目,受到了广泛的来自客户、参观者以及同事的关注,其中大部分是被展示项目中真实的电商客户的数据及成果吸引,进行了一定的经验交流。在得到肯定之后,笔者在年前又与部分互联网、旅游行业的业务负责人沟通,发现时间序列预测有着广泛的适用场景,能直接帮助决策者做出有数据支撑的重要决策。

Read More