亚马逊AWS官方博客

一月 新闻发布 | 现已开放 – 伦敦的第三个 AWS 可用区    18 Jan 大咖专栏 | 搭建DX Gateway,轻松互联全球架构    16 Jan 机器学习 | 使用 AWS Glue 和 Amazon Athena 实现无服务器的自主型机器学习    15 Jan 大咖专栏 | AWS DevOps – 配合Jenkins和CodeDeploy实现代码自动化部署    15 Jan 新闻发布 | 国际消费电子展 (CES) 上的 AWS IoT、Greengrass 和 Machine Learning 车联网应用介绍    15 Jan 人工智能 | 在 Amazon EMR 中构建由 Spark […]

Read More

现已开放 – 伦敦的第三个 AWS 可用区

我们选择某个地理区域(我们称之为“区域”),然后在该区域建立多个独立的可用区,从而不断扩大 AWS 服务范围。每个可用区 (AZ) 都与多个网格具有多项互联网连接和电源连接。 今天,我们很高兴地宣布,我们将开设第 50 个 AWS 可用区,这也是我们在欧洲 (伦敦) 区域的第三个 AZ。这将为您提供更多灵活性,以便您构建具有高可扩展性、高容错能力,并可在英国的多个 AZ 中运行的应用程序。 自从在欧洲 (伦敦) 区域启动以来,我们发现,越来越多的客户使用 AWS 来开发创新型新应用程序,而且这一现象在公共部门和监管行业尤为突出。下面是英国的 AWS 同事提供的几个示例: 企业 – 英国最具权威性的一些企业正在利用 AWS 进行业务转型,这些企业包括 BBC、BT、Deloitte 和 Travis Perkins。Travis Perkins 是英国最大的建筑材料供应商之一,正在实施其史上最大规模的系统和商业变革,包括将其数据中心全部迁移至 AWS。 初创公司 – 跨境支付公司 Currencycloud 已将其所有付款业务和演示平台迁移至 AWS,并因此节约了 30% 的基础设施费用。Clearscore 立志改善混乱的信用积分行业,也已选择在 AWS 上托管整个平台。UnderwriteMe 正在将欧洲 (伦敦) 区域用作托管服务,为客户提供保险平台。 公共部门 – Met Office 选择 AWS 来支持 […]

Read More

搭建DX Gateway,轻松互联全球架构

Direct Connect Gateway是什么,能做什么 您可以使用新的Direct Connect Gateway功能建立跨越多个AWS区域的虚拟私有云(VPC)的连接。 您不再需要为每个VPC建立多个BGP会话; 这可以减少您的管理工作量以及网络设备的负载。 此功能还允许您从任何直接连接位置连接到任何绑定的VPC,从而进一步降低跨区域使用AWS服务的成本。 为了使您可以有更直观的区别体验,我们可以通过下面的对比图来更好的体会一下 在没有DX Gateway之前: 需要互联VPC的话,每个VIF需要和对应VPC的VGW绑定。也就是说,有多少希望互联的VPC,就需要维护多少VIF到VGW的链路。并且如果需要互联的VPC是跨region的,那么就需要多条AWS DX链路。这就意味着更多的DX代理商,更多的沟通时间,更多的维护成本。 下图标注出了,有两个不同的region资源(us-west-1和us-east-1)的客户Account-0希望通过DX来给其下面的子账号Account-1和Account-2分别分配DX VIF,使其可以更快的访问放在us-west-1和us-east-1的VPC资源。这就需要用户分别在这两个region找DX partner开启DX服务,并且针对每个VPC创建一个VIF连接。 有DX Gateway之后: 每个DX Gateway都是跨所有公共AWS区域存在的全局对象。这就使得所有的AWS全球区域之间可以通过网关进行的所有通信,而这类全球通信是通过AWS网络骨干进行保障的。 和上述同样的需求,我们来看看有DX Partner的情况会怎么样。Account-0账户只需要在最近的region,比如us-west-1申请一个DX专线。再创建一个AWS Global全局的DX Gateway。分别分配给account-1和account-2账户一个VIF连接DX Gateway,再将希望访问的VPC直接和DX Gateway绑定就解决了。 总结一下DX Gateway的作用: 在只需要拉一条DX专线的情况下,可以通过DX Gateway和全球region的VPC进行互通。就是这么简单。下面就让我们来亲手搭建一个互通全球region的DX Gateway,享受AWS给我们带来的网络便捷 使用DX Gateway实现不同region内的VPC互通 0. 网络架构图 通过创建DX Gateway并绑定至VIF来做到多个region的VPC互通的步骤如下: 创建DX Gateway并同步到所有region 绑定VIF到DX Gateway 配置本地路由器和DX Gateway形成BGP邻居 将其他region的VPC绑定的VGW和DX Gateway进行绑定,并打开路由汇聚 测试本地路由器和各个region的VPC中的EC2的连通性 1. 实际创建DX Gateway 在日本region创建DX Gateway 日本区域出现DX Gateway 一段时间之后在其他region,比如Singapore也会出现DX […]

Read More

使用 AWS Glue 和 Amazon Athena 实现无服务器的自主型机器学习

您是否遇到过需要根据某些属性划分数据集的情况?K-means 是用于划分数据的最常见的机器学习算法之一。该算法能够将数据分成不同的组 (称为集群)。每个样本都被分配到一个集群,这样,相比分配到其他集群中的样本,分配到同一集群中的样本彼此之间更相似。 在这篇博客文章中,我将介绍使用 AWS Glue 提取位于 Amazon S3 上有关出租车行驶情况的数据集,并使用 K-means 根据行车坐标将数据分成 100 个不同的集群。然后,我会使用 Amazon Athena 查询行驶次数和每个集群的大概区域。最后,我会使用 Amazon Athena 来计算行驶次数最多的四个区域的坐标。使用 AWS Glue 和 Amazon Athena 都可以执行这些任务,无需预置或管理服务器。 解决方案概述 我将使用在以前的博客文章中用过的纽约市出租车数据集:使用 AWS Glue、Amazon Athena 和 Amazon QuickSight 协调、查询和可视化各个提供商的数据。我将使用 2016 年 1 月份包含绿色出租车行驶数据的表。 我将向您展示 AWS Glue 作业脚本,该脚本使用 Spark 机器学习 K-means 集群库,基于坐标划分数据集。该脚本通过加载绿色出租车数据并添加指示每一行被分配到哪个集群的列来执行作业。该脚本采用 parquet 格式将表保存到 Amazon s3 存储桶 (目标文件)。可以使用 Amazon Athena […]

Read More

AWS DevOps – 配合Jenkins和CodeDeploy实现代码自动化部署

作为DevOps和微服务的深入践行者,Amazon在内部积累了许多持续集成、交付和部署的自动化工具和平台。本文主要介绍如何在AWS云上,使用CodeDeploy,并配合Jenkins来构建持续集成/持续交付的管道,自动化代码部署和版本迭代。 在查看本文之前,建议大家先阅读一下代闻老师写的关于CodeDeploy的文章。 https://aws.amazon.com/cn/blogs/china/getting-started-with-codedeploy/ 一、创建EC2实例并安装CodeDeploy Agent 创建Amazon EC2实例,选择实例类型和添加存储。 在“高级详细信息”里面输入启动脚本 #!/bin/bash yum -y update yum install -y ruby yum install -y aws-cli cd /home/ec2-user aws s3 cp s3://aws-codedeploy-cn-north-1/latest/install . –region cn-north-1 chmod +x ./install ./install auto EC2启动成功后,使用SSH到该EC2,使用如下命令检验Agent是否工作正常。 sudo service codedeploy-agent status Result: The AWS CodeDeploy agent is running as PID 3523 二、创建应用程序负载均衡(ALB) 创建Target Group 三、创建CodeDeploy环境 点击“创建应用程序” 输入应用程序名称,和部署组的名称。CodeDeoploy支持两种部署方式,“就地部署”和“蓝绿部署”,更多关于部署类型请参考: […]

Read More

国际消费电子展 (CES) 上的 AWS IoT、Greengrass 和 Machine Learning 车联网应用介绍

上周,我参加了总部位于西雅图的 INRIX 公司总裁 Bryan Mistele 的一场演讲。Bryan 的演讲围绕交通运输的四大主要属性(通常用缩写形式 ACES 表示),展望了交通运输业的未来: 自主化 – 汽车和卡车将获得扫描和感测环境的能力,能够在无需人为输入的情况下进行导航。 互连化 – 所有类型的汽车都将能够利用与其他汽车以及与基于云的资源之间的双向连接(始终连接或间歇连接)。它们可以上传路况和性能数据、彼此通信,从而以车队的方式行驶,充分利用交通和气象数据。 电气化 – 电池和发动机技术的持续发展将使电动车更加便捷、经济且环保。 共享化 – 共乘服务会改变用车模式,从拥车模式改变为“即服务”模式(听起来是否有几分熟悉?)。 无论单独来看还是整体来看,这些新兴的属性都意味着,未来十年我们将看到和使用的汽车和卡车将与过去截然不同。 AWS 伴您出行 AWS 客户已经在利用我们的 AWS IoT、边缘计算、Amazon Machine Learning 和 Alexa 产品来让这样的未来照进现实 – 汽车制造商、其一级供应商和汽车科技初创公司都在将 AWS 用于自己的 ACES 计划。AWS Greengrass 在这方面发挥了重要作用,富有吸引力的设计俘获了客户,并帮助他们在边缘处增加处理能力和机器学习推测。 AWS 客户 Aptiv(前身为 Delphi)在 AWS re:Invent 会议上探讨了他们的 Automated Mobility on Demand (AMoD) 智能汽车架构。Aptiv 的 […]

Read More

Amazon SageMaker 现已推出 DeepAR 算法,用于实现更精确的时间序列预测

今天,我们推出了 Amazon SageMaker 的最新内置算法 Amazon SageMaker DeepAR。DeepAR 是一种适用于时间序列预测的监督学习算法,该算法使用递归神经网络 (RNN) 生成点预测和概率预测。我们很高兴能为开发人员提供这种可扩展的高精度预测算法,协助 Amazon 制定任务关键型决策。正如其他 Amazon SageMaker 内置算法一样,DeepAR 算法同样无需建立和维护基础设施进行训练和推理即可使用。 预测无处不在 预测是跨众多行业应用机器学习的切入点。无论是通过更好的产品需求预测优化供应链,通过预测 Web 服务器流量更有效地分配计算资源,还是通过为医院配置人员以满足患者需要进而挽救生命,几乎进行精确预测投资的所有领域都会很快得到回报。 在 Amazon,我们利用预测协助制定各个应用领域的业务决策。其中一些应用领域包括预测我们订单履行中心的产品和劳动力需求 (尤其是在“会员日”、“黑色星期五”和“网络星期一”这类重要日期),或者确保我们可以灵活扩展所有 AWS 客户的 AWS 计算和存储容量。Amazon 的科学家们开发了诸如 DeepAR 这样的算法,以高度准确地解决 Amazon 同等规模的这类实际商业应用的问题。 DeepAR 算法的亮点 与自回归移动平均模型 (ARIMA) 或指数平滑法 (ES) (许多开源和商用软件包中都采用这两种技术进行预测) 等传统预测技术相比,DeepAR 预测算法可以提供更高的预测精度。而且,DeepAR 算法还支持其他功能和场景,特别适合实际应用。 冷启动预测 当我们想要为一个历史数据很少或无任何历史数据的时间序列生成预测时,会出现冷启动情况。这种情况在实践中常有发生,比如在引入新产品或推出新的 AWS 区域服务时。ARIMA 或 ES 等传统方法完全依赖于单个时间序列的历史数据,因此在冷启动情况下通常不太准确。我们以服装类商品 (例如运动鞋) 预测为例。 基于神经网络的算法 (例如 DeepAR) 可以根据其他类型运动鞋首次发布时的销售模式,学习新款运动鞋销售的典型行为。 通过学习训练数据中多个相关时间序列的关系,DeepAR 可以提供比现有算法更精确的预测。 概率预测 […]

Read More

在 Amazon EMR 中构建由 Spark 支持的 Amazon SageMaker Notebook

在 2017 年 AWS re:Invent 上介绍的 Amazon SageMaker 可以为数据科学和机器学习工作流程提供完全托管服务。Amazon SageMaker 的其中一个重要组成部分是功能强大的 Jupyter Notebook 接口,该接口可用来构建模型。通过将 Notebook 实例连接到 Amazon EMR 上运行的 Apache Spark 集群,可以增强 Amazon SageMaker 的功能。Amazon EMR 是一个用于处理大量数据的托管框架。通过将二者结合,可以基于大量数据构建模型。 Spark 是一个可以快速处理大数据的开源集群计算框架,并且包含适用于机器学习工作负载的 MLlib。为了方便在 Amazon SageMaker Notebook 与 Spark EMR 集群之间建立连接,需要使用 Livy。Livy 是一个开源 REST 接口,无需 Spark 客户端便可从任何位置与 Spark 集群交互。 本博文将向您介绍如何运行 Spark EMR 集群,如何配置必要的安全组以便在 Amazon SageMaker 与 EMR 之间进行通信,以及如何打开 Amazon […]

Read More

如何利用 AWS Lambda 和 Tensorflow 部署深度学习模型

深度学习已经彻底变革了我们处理和加工真实数据的方式。深度学习的应用程序有多种类型,包括用于整理用户照片存档、推荐书籍、检测欺诈行为以及感知自动驾驶车辆周边环境的应用程序。 在这篇文章中,我们将向您逐步演示如何通过 AWS Lambda 使用自定义的训练模型,从而大规模利用简化的无服务器计算方法。在此过程中,我们将介绍一些核心 AWS 服务,您可以使用这些服务以无服务器的方式运行推理。 我们还将了解图像分类:现在已有多种表现非常出色的开源模型可供使用。通过图像分类,我们可以使用深度学习中两种最常用的网络类型:卷积神经网络和全连接神经网络 (也称为 Vanilla 神经网络)。 我们将向您演示在 AWS 中的什么位置放置训练模型,以及以何种方式打包您的代码,以便 AWS Lambda 通过推理命令执行这些代码。 在这篇博客文章中,我们将讨论以下 AWS 服务:AWS Lambda、Amazon Simple Storage Service (S3)、AWS CloudFormation、Amazon CloudWatch 和 AWS Identity and Access Management (IAM)。使用的语言和深度学习框架包括 Python 和 TensorFlow。此处介绍的流程也适用于任何其他深度学习框架,例如 MXNet、Caffe、PyTorch、CNTK 及其他框架。 整体架构 AWS 架构 从流程的角度而言,深度学习系统的开发和部署与开发和部署传统解决方案应该没有不同。 下图描述了一种可能的开发生命周期: 如您从图中可见,通常的软件开发流程经过多个阶段,从开发环境中的概念成形和建模,直到生产环境中的最终模型部署。在大部分情况下,开发阶段会有多次快速迭代,需要不断对环境进行更改。通常,这会影响在软件/模型开发期间所用资源的性质和质量。对于敏捷开发而言,能够快速构建/重建/停用环境至关重要。所构建软件的快速改变随之而来的应该是基础设施调整。敏捷开发和加速创新的先决条件之一是能够通过代码管理基础设施 (称为 IaC:基础设施即代码)。 软件设计管理、构建和部署的自动化是持续集成和持续交付 (CI/CD) 的一部分。虽然本文不会深入介绍精心编排的 CI/CD 管道的细节,不过,对于任何开发运营团队来说,如果希望构建可重复的流程,以实现开发/部署敏捷性和流程自动化,就应该记住这一点。 AWS 在社区中推出了众多服务和实践,可简化开发任务。一个环境,只要使用自动化代码构建,那么只需数分钟就可以轻松地采用和复制,例如,可以根据开发环境所用的模板构建暂存和生产系统。 此外,AWS […]

Read More

首批 AWS 机器学习能力合作伙伴简介

在由云驱动的所有创新中,人工智能 (AI) 和机器学习 (ML) 领域或许是最令人兴奋的。比如,IDC 预测到 2020 年,AI 系统的市场收益将达到 460 亿美元。这一数字远高于 2017 年的 125 亿美元,并以 54.4% 的复合年增长率 (CAGR) 增长。另外,根据 AngelList 的统计,专注于人工智能的初创公司超过 3000 家。 AI/ML 正被应用到每个能想象到的使用案例中,包括确保我们免遭欺诈,帮助我们更轻松地发现娱乐内容,改善客户体验,以及预测工业设备何时需要维护。或许最重要的是,AI/ML 现在正被应用到医疗保健行业。在该行业中,计算机视觉算法将自动进行影像学诊断,而使用临床数据可以更好地预测患者健康状况,针对各个患者的治疗情况量身定制精准医疗方案,并且 ML 很有可能会发现新的救命药。 尽管人们对 AI 的增长预期持积极态度,但仍有一些人怀疑它是否能够真正超越研究范畴并带来真正的业务价值。但是,在当今 AWS 的基础之上,许多客户已在大规模应用 AI/ML 并解决众多领域中存在的各种问题。 诸如 Arterys 之类的 AWS 客户正在应用计算机视觉进行医学影像诊断。其他客户正在通过以下方式使用 AI/ML:通过 Stitch Fix 获得时尚推荐,通过 Expedia 制定旅行计划,通过 Redfin 进行不动产评估,通过 Zendesk 为客户提供支持,通过 9fin 进行财务文档分析,以及通过 Signal Media 获得商业智能。我们还看到,公司正在使用基于深度学习 […]

Read More