亚马逊AWS官方博客

Category: Artificial Intelligence

基于 AWS KMS 的加密现已可用于 Amazon SageMaker 中的训练和托管

Amazon SageMaker 使用一次性密钥 (也称为瞬态密钥) 加密所连接的 ML 通用型存储卷,用以训练和托管 EC2 实例。由于这些密钥均用于加密 ML 存储卷,并且在用后立即丢弃,因此可用卷来安全地存储机密数据。卷仅可通过相关联的实例访问,而这些实例会对访问权限加以控制。在实例终止之后,ML 卷将被删除,卷中的数据将无法再访问。 对于使用通过 AWS Key Management Service (KMS) 管理的密钥的功能 – 类似于指定 KMS 主密钥 ID 时,对于附加到笔记本电脑实例的存储的加密方式,客户呼声甚高。 即日起,您就可以选择使用 KMS 主密钥加密您的训练和托管数据了。这让您可以为分布式训练和模型托管利用多种 AWS KMS 功能,例如集中密钥管理、密钥使用情况审核日志记录、主实例密钥轮换等等。 为加密训练数据,可在对 CreateTrainingJob API 的调用中指定一个 KMS 主密钥。对于托管,可在对 CreateEndpointConfig API 的调用中指定密钥。 有关 Amazon SageMaker 和 KMS 的更多信息,请参阅 Amazon SageMaker 开发人员指南。 作者简介 Kumar Venkateswar 是 AWS ML 平台团队的产品经理,该团队开发的产品包括 […]

Read More

Amazon SageMaker BlazingText:在多个 CPU 或 GPU 上并行处理 Word2Vec

今天,我们推出了 Amazon SageMaker 的最新内置算法 Amazon SageMaker BlazingText。BlazingText 是一种无监督学习算法,用于生成 Word2Vec 嵌入,即单词在大型语料库中的密集向量表示。我们很高兴构建了 BlazingText,它可以最快的速度实现 Word2Vec,供 Amazon SageMaker 用户在以下实例上使用:

单一 CPU 实例 (Mikolov 和 fastText 的原始 C 实现)
使用多个 GPU、P2 或 P3 的单一实例
多个 CPU 实例 (分布式 CPU 训练)

Read More

使用 NNPACK 库加速 Apache MXNet

Apache MXNet 是供开发人员构建、训练和重复使用深度学习网络的开源库。在这篇博文中,我将向您介绍如何使用 NNPACK 库来加速推理。事实上,当 GPU 推理不可用时,要想从实例中获取更多性能,将 NNPACK 添加到 Apache MXNet 中或许不失为一种简单的方法。和往常一样,“您的情况可能会有所不同”,而且您应该始终运行自己的测试。

Read More

AWS Deep Learning AMI 现在推出 TensorFlow 1.5 和全新 Model Serving 功能

AWS Deep Learning AMI 可帮助您快速轻松地开始使用机器学习。AMI 包含大量预建选项,可满足机器学习从业者的各种需求。如果您需要常见深度学习框架的最新版本,Deep Learning AMI 可提供在基于 Conda 的独立虚拟环境中安装的预建 pip 二进制文件。如果您希望测试高级框架功能或者对框架源代码进行微调,包含源代码的 Deep Learning AMI 可提供基于源的自定义框架安装。这些框架通常内建了常见二进制文件中没有的高级优化功能。

Read More

Zocdoc 在 AWS 上使用 TensorFlow 帮助患者安心看病

医疗保健行业的情况非常复杂。最近的调查表明,超过一半的美国人不清楚所持保险涵盖的范围,四分之三的人希望通过更简单的方法来确认医生是否在保险公司网络内。

Zocdoc 帮助患者理清了这一混乱局面,让需要医疗保健的个人能够做出更明智的选择,同时找到满足其需求的医疗服务。Zocdoc 致力于优化医疗保健数据来帮助患者,支持其完成该使命的核心就是 AWS 上的深度学习。有了使用 TensorFlow 深度学习框架构建的算法,Zocdoc 可更高效地为患者分配医生。患者可预约 24 小时内看诊,过去全国新患者等待看诊的平均等待时间为 24 天。

Read More

利用机器学习和 BI 服务构建社交媒体控制面板

在这篇博文中,我们将展示如何利用 Amazon Translate、Amazon Comprehend、Amazon Kinesis、Amazon Athena 和 Amazon QuickSight 构建受自然语言处理 (NLP) 支持的社交媒体控制面板,以便处理推文。 组织与客户之间的社交媒体交互可以深化品牌认知度。这些交流是发掘销售线索、增加网站流量、发展客户关系并改进客户服务的低成本方法。 在这篇博文中,我们将构建无服务器数据处理和机器学习 (ML) 管道,在 Amazon QuickSight 中提供处理推文的多语言社交媒体控制面板。我们将利用 API 驱动的 ML 服务,来让开发人员只需调用高度可用、可扩展、安全的终端节点,便可轻松向任何应用程序添加智能功能,例如计算机视觉、语音、语言分析和聊天自动程序功能。借助 AWS 内的无服务器产品,这些构建块只需极少的代码便可整合在一起。在这篇博文中,我们将对流经系统的推文执行语言翻译和自然语言处理。 除了构建社交媒体控制面板之外,我们还希望捕获原始数据集和充实后的数据集,并将其长期存储在数据湖中。这将允许数据分析师快速轻松地对此数据执行新型分析和机器学习。 在这篇博文中,我们将展示如何实现以下操作: 利用 Amazon Kinesis Data Firehose 轻松捕获和准备实时数据流,并将其加载到数据存储、数据仓库和数据湖中。在本例中,我们使用的是 Amazon S3。 触发 AWS Lambda 以使用 Amazon Translate 和 Amazon Comprehend (来自 AWS 的两种完全托管式服务) 分析推文。仅需几行代码,我们就能利用这些服务将推文翻译为不同语言,并对推文执行自然语言处理 (NLP)。 在 Amazon Kinesis Data Firehose 内利用独立的 […]

Read More

Amazon SageMaker 现已推出 DeepAR 算法,用于实现更精确的时间序列预测

今天,我们推出了 Amazon SageMaker 的最新内置算法 Amazon SageMaker DeepAR。DeepAR 是一种适用于时间序列预测的监督学习算法,该算法使用递归神经网络 (RNN) 生成点预测和概率预测。我们很高兴能为开发人员提供这种可扩展的高精度预测算法,协助 Amazon 制定任务关键型决策。正如其他 Amazon SageMaker 内置算法一样,DeepAR 算法同样无需建立和维护基础设施进行训练和推理即可使用。 预测无处不在 预测是跨众多行业应用机器学习的切入点。无论是通过更好的产品需求预测优化供应链,通过预测 Web 服务器流量更有效地分配计算资源,还是通过为医院配置人员以满足患者需要进而挽救生命,几乎进行精确预测投资的所有领域都会很快得到回报。 在 Amazon,我们利用预测协助制定各个应用领域的业务决策。其中一些应用领域包括预测我们订单履行中心的产品和劳动力需求 (尤其是在“会员日”、“黑色星期五”和“网络星期一”这类重要日期),或者确保我们可以灵活扩展所有 AWS 客户的 AWS 计算和存储容量。Amazon 的科学家们开发了诸如 DeepAR 这样的算法,以高度准确地解决 Amazon 同等规模的这类实际商业应用的问题。 DeepAR 算法的亮点 与自回归移动平均模型 (ARIMA) 或指数平滑法 (ES) (许多开源和商用软件包中都采用这两种技术进行预测) 等传统预测技术相比,DeepAR 预测算法可以提供更高的预测精度。而且,DeepAR 算法还支持其他功能和场景,特别适合实际应用。 冷启动预测 当我们想要为一个历史数据很少或无任何历史数据的时间序列生成预测时,会出现冷启动情况。这种情况在实践中常有发生,比如在引入新产品或推出新的 AWS 区域服务时。ARIMA 或 ES 等传统方法完全依赖于单个时间序列的历史数据,因此在冷启动情况下通常不太准确。我们以服装类商品 (例如运动鞋) 预测为例。 基于神经网络的算法 (例如 DeepAR) 可以根据其他类型运动鞋首次发布时的销售模式,学习新款运动鞋销售的典型行为。 通过学习训练数据中多个相关时间序列的关系,DeepAR 可以提供比现有算法更精确的预测。 概率预测 […]

Read More

在 Amazon EMR 中构建由 Spark 支持的 Amazon SageMaker Notebook

在 2017 年 AWS re:Invent 上介绍的 Amazon SageMaker 可以为数据科学和机器学习工作流程提供完全托管服务。Amazon SageMaker 的其中一个重要组成部分是功能强大的 Jupyter Notebook 接口,该接口可用来构建模型。通过将 Notebook 实例连接到 Amazon EMR 上运行的 Apache Spark 集群,可以增强 Amazon SageMaker 的功能。Amazon EMR 是一个用于处理大量数据的托管框架。通过将二者结合,可以基于大量数据构建模型。 Spark 是一个可以快速处理大数据的开源集群计算框架,并且包含适用于机器学习工作负载的 MLlib。为了方便在 Amazon SageMaker Notebook 与 Spark EMR 集群之间建立连接,需要使用 Livy。Livy 是一个开源 REST 接口,无需 Spark 客户端便可从任何位置与 Spark 集群交互。 本博文将向您介绍如何运行 Spark EMR 集群,如何配置必要的安全组以便在 Amazon SageMaker 与 EMR 之间进行通信,以及如何打开 Amazon […]

Read More

首批 AWS 机器学习能力合作伙伴简介

在由云驱动的所有创新中,人工智能 (AI) 和机器学习 (ML) 领域或许是最令人兴奋的。比如,IDC 预测到 2020 年,AI 系统的市场收益将达到 460 亿美元。这一数字远高于 2017 年的 125 亿美元,并以 54.4% 的复合年增长率 (CAGR) 增长。另外,根据 AngelList 的统计,专注于人工智能的初创公司超过 3000 家。 AI/ML 正被应用到每个能想象到的使用案例中,包括确保我们免遭欺诈,帮助我们更轻松地发现娱乐内容,改善客户体验,以及预测工业设备何时需要维护。或许最重要的是,AI/ML 现在正被应用到医疗保健行业。在该行业中,计算机视觉算法将自动进行影像学诊断,而使用临床数据可以更好地预测患者健康状况,针对各个患者的治疗情况量身定制精准医疗方案,并且 ML 很有可能会发现新的救命药。 尽管人们对 AI 的增长预期持积极态度,但仍有一些人怀疑它是否能够真正超越研究范畴并带来真正的业务价值。但是,在当今 AWS 的基础之上,许多客户已在大规模应用 AI/ML 并解决众多领域中存在的各种问题。 诸如 Arterys 之类的 AWS 客户正在应用计算机视觉进行医学影像诊断。其他客户正在通过以下方式使用 AI/ML:通过 Stitch Fix 获得时尚推荐,通过 Expedia 制定旅行计划,通过 Redfin 进行不动产评估,通过 Zendesk 为客户提供支持,通过 9fin 进行财务文档分析,以及通过 Signal Media 获得商业智能。我们还看到,公司正在使用基于深度学习 […]

Read More