亚马逊AWS官方博客

Localization Team

Author: Localization Team

最新 EC2 好东西 – 启动模板与分布置放

AWS re:Invent 推出了多项重要的 EC2 实例类型和功能。 我已经给大家介绍了 M5、H1、T2 无限版和 Bare Metal 实例,以及休眠和新定价模型等竞价功能,Randall 也给大家介绍了 Amazon Time Sync Service,今天我将介绍两个新的功能:分布置放组和启动模板。这两个功能都通过 EC2 控制台和 EC2 API 调用,可以在“aws”分区中的所有 AWS 区域使用。

Read More

利用机器学习和 BI 服务构建社交媒体控制面板

在这篇博文中,我们将展示如何利用 Amazon Translate、Amazon Comprehend、Amazon Kinesis、Amazon Athena 和 Amazon QuickSight 构建受自然语言处理 (NLP) 支持的社交媒体控制面板,以便处理推文。 组织与客户之间的社交媒体交互可以深化品牌认知度。这些交流是发掘销售线索、增加网站流量、发展客户关系并改进客户服务的低成本方法。 在这篇博文中,我们将构建无服务器数据处理和机器学习 (ML) 管道,在 Amazon QuickSight 中提供处理推文的多语言社交媒体控制面板。我们将利用 API 驱动的 ML 服务,来让开发人员只需调用高度可用、可扩展、安全的终端节点,便可轻松向任何应用程序添加智能功能,例如计算机视觉、语音、语言分析和聊天自动程序功能。借助 AWS 内的无服务器产品,这些构建块只需极少的代码便可整合在一起。在这篇博文中,我们将对流经系统的推文执行语言翻译和自然语言处理。 除了构建社交媒体控制面板之外,我们还希望捕获原始数据集和充实后的数据集,并将其长期存储在数据湖中。这将允许数据分析师快速轻松地对此数据执行新型分析和机器学习。 在这篇博文中,我们将展示如何实现以下操作: 利用 Amazon Kinesis Data Firehose 轻松捕获和准备实时数据流,并将其加载到数据存储、数据仓库和数据湖中。在本例中,我们使用的是 Amazon S3。 触发 AWS Lambda 以使用 Amazon Translate 和 Amazon Comprehend (来自 AWS 的两种完全托管式服务) 分析推文。仅需几行代码,我们就能利用这些服务将推文翻译为不同语言,并对推文执行自然语言处理 (NLP)。 在 Amazon Kinesis Data Firehose 内利用独立的 […]

Read More

现已开放 – 伦敦的第三个 AWS 可用区

我们选择某个地理区域(我们称之为“区域”),然后在该区域建立多个独立的可用区,从而不断扩大 AWS 服务范围。每个可用区 (AZ) 都与多个网格具有多项互联网连接和电源连接。 今天,我们很高兴地宣布,我们将开设第 50 个 AWS 可用区,这也是我们在欧洲 (伦敦) 区域的第三个 AZ。这将为您提供更多灵活性,以便您构建具有高可扩展性、高容错能力,并可在英国的多个 AZ 中运行的应用程序。 自从在欧洲 (伦敦) 区域启动以来,我们发现,越来越多的客户使用 AWS 来开发创新型新应用程序,而且这一现象在公共部门和监管行业尤为突出。下面是英国的 AWS 同事提供的几个示例: 企业 – 英国最具权威性的一些企业正在利用 AWS 进行业务转型,这些企业包括 BBC、BT、Deloitte 和 Travis Perkins。Travis Perkins 是英国最大的建筑材料供应商之一,正在实施其史上最大规模的系统和商业变革,包括将其数据中心全部迁移至 AWS。 初创公司 – 跨境支付公司 Currencycloud 已将其所有付款业务和演示平台迁移至 AWS,并因此节约了 30% 的基础设施费用。Clearscore 立志改善混乱的信用积分行业,也已选择在 AWS 上托管整个平台。UnderwriteMe 正在将欧洲 (伦敦) 区域用作托管服务,为客户提供保险平台。 公共部门 – Met Office 选择 AWS 来支持 […]

Read More

使用 AWS Glue 和 Amazon Athena 实现无服务器的自主型机器学习

您是否遇到过需要根据某些属性划分数据集的情况?K-means 是用于划分数据的最常见的机器学习算法之一。该算法能够将数据分成不同的组 (称为集群)。每个样本都被分配到一个集群,这样,相比分配到其他集群中的样本,分配到同一集群中的样本彼此之间更相似。 在这篇博客文章中,我将介绍使用 AWS Glue 提取位于 Amazon S3 上有关出租车行驶情况的数据集,并使用 K-means 根据行车坐标将数据分成 100 个不同的集群。然后,我会使用 Amazon Athena 查询行驶次数和每个集群的大概区域。最后,我会使用 Amazon Athena 来计算行驶次数最多的四个区域的坐标。使用 AWS Glue 和 Amazon Athena 都可以执行这些任务,无需预置或管理服务器。 解决方案概述 我将使用在以前的博客文章中用过的纽约市出租车数据集:使用 AWS Glue、Amazon Athena 和 Amazon QuickSight 协调、查询和可视化各个提供商的数据。我将使用 2016 年 1 月份包含绿色出租车行驶数据的表。 我将向您展示 AWS Glue 作业脚本,该脚本使用 Spark 机器学习 K-means 集群库,基于坐标划分数据集。该脚本通过加载绿色出租车数据并添加指示每一行被分配到哪个集群的列来执行作业。该脚本采用 parquet 格式将表保存到 Amazon s3 存储桶 (目标文件)。可以使用 Amazon Athena […]

Read More

国际消费电子展 (CES) 上的 AWS IoT、Greengrass 和 Machine Learning 车联网应用介绍

上周,我参加了总部位于西雅图的 INRIX 公司总裁 Bryan Mistele 的一场演讲。Bryan 的演讲围绕交通运输的四大主要属性(通常用缩写形式 ACES 表示),展望了交通运输业的未来: 自主化 – 汽车和卡车将获得扫描和感测环境的能力,能够在无需人为输入的情况下进行导航。 互连化 – 所有类型的汽车都将能够利用与其他汽车以及与基于云的资源之间的双向连接(始终连接或间歇连接)。它们可以上传路况和性能数据、彼此通信,从而以车队的方式行驶,充分利用交通和气象数据。 电气化 – 电池和发动机技术的持续发展将使电动车更加便捷、经济且环保。 共享化 – 共乘服务会改变用车模式,从拥车模式改变为“即服务”模式(听起来是否有几分熟悉?)。 无论单独来看还是整体来看,这些新兴的属性都意味着,未来十年我们将看到和使用的汽车和卡车将与过去截然不同。 AWS 伴您出行 AWS 客户已经在利用我们的 AWS IoT、边缘计算、Amazon Machine Learning 和 Alexa 产品来让这样的未来照进现实 – 汽车制造商、其一级供应商和汽车科技初创公司都在将 AWS 用于自己的 ACES 计划。AWS Greengrass 在这方面发挥了重要作用,富有吸引力的设计俘获了客户,并帮助他们在边缘处增加处理能力和机器学习推测。 AWS 客户 Aptiv(前身为 Delphi)在 AWS re:Invent 会议上探讨了他们的 Automated Mobility on Demand (AMoD) 智能汽车架构。Aptiv 的 […]

Read More

Amazon SageMaker 现已推出 DeepAR 算法,用于实现更精确的时间序列预测

今天,我们推出了 Amazon SageMaker 的最新内置算法 Amazon SageMaker DeepAR。DeepAR 是一种适用于时间序列预测的监督学习算法,该算法使用递归神经网络 (RNN) 生成点预测和概率预测。我们很高兴能为开发人员提供这种可扩展的高精度预测算法,协助 Amazon 制定任务关键型决策。正如其他 Amazon SageMaker 内置算法一样,DeepAR 算法同样无需建立和维护基础设施进行训练和推理即可使用。 预测无处不在 预测是跨众多行业应用机器学习的切入点。无论是通过更好的产品需求预测优化供应链,通过预测 Web 服务器流量更有效地分配计算资源,还是通过为医院配置人员以满足患者需要进而挽救生命,几乎进行精确预测投资的所有领域都会很快得到回报。 在 Amazon,我们利用预测协助制定各个应用领域的业务决策。其中一些应用领域包括预测我们订单履行中心的产品和劳动力需求 (尤其是在“会员日”、“黑色星期五”和“网络星期一”这类重要日期),或者确保我们可以灵活扩展所有 AWS 客户的 AWS 计算和存储容量。Amazon 的科学家们开发了诸如 DeepAR 这样的算法,以高度准确地解决 Amazon 同等规模的这类实际商业应用的问题。 DeepAR 算法的亮点 与自回归移动平均模型 (ARIMA) 或指数平滑法 (ES) (许多开源和商用软件包中都采用这两种技术进行预测) 等传统预测技术相比,DeepAR 预测算法可以提供更高的预测精度。而且,DeepAR 算法还支持其他功能和场景,特别适合实际应用。 冷启动预测 当我们想要为一个历史数据很少或无任何历史数据的时间序列生成预测时,会出现冷启动情况。这种情况在实践中常有发生,比如在引入新产品或推出新的 AWS 区域服务时。ARIMA 或 ES 等传统方法完全依赖于单个时间序列的历史数据,因此在冷启动情况下通常不太准确。我们以服装类商品 (例如运动鞋) 预测为例。 基于神经网络的算法 (例如 DeepAR) 可以根据其他类型运动鞋首次发布时的销售模式,学习新款运动鞋销售的典型行为。 通过学习训练数据中多个相关时间序列的关系,DeepAR 可以提供比现有算法更精确的预测。 概率预测 […]

Read More

在 Amazon EMR 中构建由 Spark 支持的 Amazon SageMaker Notebook

在 2017 年 AWS re:Invent 上介绍的 Amazon SageMaker 可以为数据科学和机器学习工作流程提供完全托管服务。Amazon SageMaker 的其中一个重要组成部分是功能强大的 Jupyter Notebook 接口,该接口可用来构建模型。通过将 Notebook 实例连接到 Amazon EMR 上运行的 Apache Spark 集群,可以增强 Amazon SageMaker 的功能。Amazon EMR 是一个用于处理大量数据的托管框架。通过将二者结合,可以基于大量数据构建模型。 Spark 是一个可以快速处理大数据的开源集群计算框架,并且包含适用于机器学习工作负载的 MLlib。为了方便在 Amazon SageMaker Notebook 与 Spark EMR 集群之间建立连接,需要使用 Livy。Livy 是一个开源 REST 接口,无需 Spark 客户端便可从任何位置与 Spark 集群交互。 本博文将向您介绍如何运行 Spark EMR 集群,如何配置必要的安全组以便在 Amazon SageMaker 与 EMR 之间进行通信,以及如何打开 Amazon […]

Read More

如何利用 AWS Lambda 和 Tensorflow 部署深度学习模型

深度学习已经彻底变革了我们处理和加工真实数据的方式。深度学习的应用程序有多种类型,包括用于整理用户照片存档、推荐书籍、检测欺诈行为以及感知自动驾驶车辆周边环境的应用程序。 在这篇文章中,我们将向您逐步演示如何通过 AWS Lambda 使用自定义的训练模型,从而大规模利用简化的无服务器计算方法。在此过程中,我们将介绍一些核心 AWS 服务,您可以使用这些服务以无服务器的方式运行推理。 我们还将了解图像分类:现在已有多种表现非常出色的开源模型可供使用。通过图像分类,我们可以使用深度学习中两种最常用的网络类型:卷积神经网络和全连接神经网络 (也称为 Vanilla 神经网络)。 我们将向您演示在 AWS 中的什么位置放置训练模型,以及以何种方式打包您的代码,以便 AWS Lambda 通过推理命令执行这些代码。 在这篇博客文章中,我们将讨论以下 AWS 服务:AWS Lambda、Amazon Simple Storage Service (S3)、AWS CloudFormation、Amazon CloudWatch 和 AWS Identity and Access Management (IAM)。使用的语言和深度学习框架包括 Python 和 TensorFlow。此处介绍的流程也适用于任何其他深度学习框架,例如 MXNet、Caffe、PyTorch、CNTK 及其他框架。 整体架构 AWS 架构 从流程的角度而言,深度学习系统的开发和部署与开发和部署传统解决方案应该没有不同。 下图描述了一种可能的开发生命周期: 如您从图中可见,通常的软件开发流程经过多个阶段,从开发环境中的概念成形和建模,直到生产环境中的最终模型部署。在大部分情况下,开发阶段会有多次快速迭代,需要不断对环境进行更改。通常,这会影响在软件/模型开发期间所用资源的性质和质量。对于敏捷开发而言,能够快速构建/重建/停用环境至关重要。所构建软件的快速改变随之而来的应该是基础设施调整。敏捷开发和加速创新的先决条件之一是能够通过代码管理基础设施 (称为 IaC:基础设施即代码)。 软件设计管理、构建和部署的自动化是持续集成和持续交付 (CI/CD) 的一部分。虽然本文不会深入介绍精心编排的 CI/CD 管道的细节,不过,对于任何开发运营团队来说,如果希望构建可重复的流程,以实现开发/部署敏捷性和流程自动化,就应该记住这一点。 AWS 在社区中推出了众多服务和实践,可简化开发任务。一个环境,只要使用自动化代码构建,那么只需数分钟就可以轻松地采用和复制,例如,可以根据开发环境所用的模板构建暂存和生产系统。 此外,AWS […]

Read More

首批 AWS 机器学习能力合作伙伴简介

在由云驱动的所有创新中,人工智能 (AI) 和机器学习 (ML) 领域或许是最令人兴奋的。比如,IDC 预测到 2020 年,AI 系统的市场收益将达到 460 亿美元。这一数字远高于 2017 年的 125 亿美元,并以 54.4% 的复合年增长率 (CAGR) 增长。另外,根据 AngelList 的统计,专注于人工智能的初创公司超过 3000 家。 AI/ML 正被应用到每个能想象到的使用案例中,包括确保我们免遭欺诈,帮助我们更轻松地发现娱乐内容,改善客户体验,以及预测工业设备何时需要维护。或许最重要的是,AI/ML 现在正被应用到医疗保健行业。在该行业中,计算机视觉算法将自动进行影像学诊断,而使用临床数据可以更好地预测患者健康状况,针对各个患者的治疗情况量身定制精准医疗方案,并且 ML 很有可能会发现新的救命药。 尽管人们对 AI 的增长预期持积极态度,但仍有一些人怀疑它是否能够真正超越研究范畴并带来真正的业务价值。但是,在当今 AWS 的基础之上,许多客户已在大规模应用 AI/ML 并解决众多领域中存在的各种问题。 诸如 Arterys 之类的 AWS 客户正在应用计算机视觉进行医学影像诊断。其他客户正在通过以下方式使用 AI/ML:通过 Stitch Fix 获得时尚推荐,通过 Expedia 制定旅行计划,通过 Redfin 进行不动产评估,通过 Zendesk 为客户提供支持,通过 9fin 进行财务文档分析,以及通过 Signal Media 获得商业智能。我们还看到,公司正在使用基于深度学习 […]

Read More