亚马逊AWS官方博客

使用 Amazon EMR 上的 Apache MXNet 和 Apache Spark 进行分布式推理

在这篇博客文章中,我们将演示如何使用 Amazon EMR 上的 Apache MXNet (孵化) 和 Apache Spark 对大型数据集运行分布式离线推理。我们将说明离线推理如何起作用、为何离线推理具有挑战性以及如何利用 Amazon EMR 上的 MXNet 和 Spark 来应对这些挑战。 大型数据集上的分布式推理 – 需求与挑战 在进行有关深度学习模型的培训后,可以对新数据上运行推理了。可对需要即时反馈的任务 (如欺诈检测) 执行实时推理。这通常称作在线推理。或者,也可在预计算有用时执行离线推理。离线推理的常用案例是用于具有低延迟要求的服务,例如,要求对许多用户-产品分数进行排序和排名的推荐系统。在这些情况下,将使用离线推理来预计算推荐。结果将存储在低延迟存储中,而且将按需使用存储中的推荐。离线推理的另一个使用案例是使用从先进模型中生成的预测回填历史数据。作为一个假想的示例,报纸可利用此设置来使用从人员检测模型中预测的人员姓名回填已存档的照片。分布式推理还可用于基于历史数据测试新模型以验证这些模型在部署到生产之前是否会产生更好的结果。 通常,会在跨数百万条或更多记录的大型数据集上执行分布式推理。在合理的时间范围内处理这类大规模数据集需要一组计算机设置和深度学习功能。借助分布式群集,可使用数据分区、批处理和任务并行化来进行高吞吐量处理。但是,设置深度学习数据处理群集会面临一些挑战: 群集设置和管理:设置和监控节点、维护高可用性、部署和配置软件包等。 资源和作业管理:计划和跟踪作业、对数据进行分区和处理作业失败。 深度学习设置:部署、配置和运行深度学习任务。 接下来,本博客文章将介绍如何使用 Amazon EMR 上的 MXNet 和 Spark 来应对这些挑战。 使用 MXNet 和 Spark 进行分布式推理 利用 Amazon EMR,可轻松、经济高效地使用 Spark 和 MXNet 来启动可扩展群集。Amazon EMR 按秒计费,并且可使用 Amazon EC2 竞价型实例来降低工作负载的成本。 Amazon EMR […]

Read More

H1 实例 – 适合大数据应用程序的快速密集型存储

AWS 的规模和我们客户群的多样性,使得我们有机会创建专用于许多不同类型工作负载的 EC2 实例类型。例如,许多流行的大数据用例依赖于对若干 TB 数据的高速顺序访问。我们的客户希望构建和运行超大型 MapReduce 集群,托管分布式文件系统,使用 Apache Kafka 来处理海量的日志文件等等。 新的 H1 实例 新的 H1 实例专为此类用例而设计。与现有的 D2 (密集型存储) 实例相比,H1 实例针对每 TB 本地磁盘存储容量提供了更多的 vCPU 和更高的内存,同时增加了网络带宽,使您能够通过良好平衡的资源组合来应对更加复杂的挑战。 这些实例基于以 2.3 GHz 基本时钟频率运行的 Intel Xeon E5-2686 v4 处理器,并且提供四种实例大小 (所有实例均仅限 VPC 和仅限 HVM): 实例名称 vCPU RAM 本地存储 网络带宽 h1.2xlarge 8 32 GiB 2 TB 最高 10 Gbps h1.4xlarge 16 64 […]

Read More

Amazon EC2 更新 – 简化对竞价型容量的访问、平稳的价格变化、实例休眠

EC2 竞价型实例可让您使用 AWS 云中的多余计算容量。我们的客户使用竞价型实例队列来支持 CI/CD 环境和流量生成程序、托管 Web 服务器和微服务、渲染电影以及运行众多类型的分析作业,所有这些实例的价格相比按需实例都节省了可观的成本。 新的简化访问 今天,我们为竞价型实例推出了新的简化访问模式。您只需在通过 RunInstances 函数、 run-instances 命令或 AWS 管理控制台启动实例时指明您希望使用竞价型容量,即可提交一个请求,只要有相应的容量可用,就会满足该请求。您无需完成额外的工作,即可为实例类型节省高达 90% 的按需使用费用;在相同预算下,整体应用程序吞吐量最多可提高 10 倍。以这种方式启动的实例将会一直运行,直至您终止它们,或者 EC2 需要将它们回收以便按需使用这些实例。在这种情况下,通常会提前 2 分钟针对实例发出警告,然后再回收,这非常适合提供容错功能的应用程序。 与需要了解竞价市场、出价以及调用独立异步 API 的旧模式不同,新模式是同步的,并且与按需实例一样简单易用。您的代码或脚本会立即收到一个实例 ID,不需要检查是否已处理和接受请求。 我们已经清楚地说明这一点,尽可能地简单化,许多当前的脚本和应用程序应该很容易地修改即可请求和利用竞价型容量。如果您想对竞价型实例预算执行额外的控制,则可以选择在发出容量请求时指定最高价格。如果您希望使用竞价型容量来支持 Amazon EMR、Amazon ECS 或 AWS Batch 集群,或者您通过 AWS CloudFormation 模板或 Auto Scaling 组的方式启动竞价型实例,您将会从这个新模式受益,而不需要做出任何改变。 根据 RequestSpotInstances 或 RequestSpotFleet 构建的应用程序将会继续正常工作,没有任何变化。不过,您现在可以选择发出不包括 SpotPrice 参数的请求。 平稳的价格变化 作为今天发布的一部分,我们还改变了现货价格发生变化的方式,转为采用根据长期供求趋势逐步调整价格的模式。正如我前面提到的那样,您将继续享受到相比按需价格平均节省 70-90% 的优势,并且您将继续按照实例运行时间段内的现货价格支付费用。对于依托于我们的竞价型队列功能构建的应用程序,将继续根据您在创建队列时所指定的配置,自动将其竞价型实例分散放置到最经济实惠的池中。 竞价实际操作 要从命令行启动竞价型实例,只需指定 […]

Read More

M5 – 最新一代的通用型 EC2 实例

我总是建议新的 EC2 用户从我们的通用型实例入手,运行一些压力测试,并对他们的应用程序的计算、内存和联网情况有一个非常详细的真实感受,然后再尝试其他实例类型。借助针对计算、内存和存储进行优化的各种实例,我们的客户可以有多种选择,并且可以灵活地选择最适合他们需求的实例类型。 正如您可以从我的 EC2 实例历史帖子中看到的,通用型 (M) 实例的历史可以追溯到 2006 年,那年我们推出了 m1.small 实例。我们沿着这个系列分支不断地发展,推出了 M2 (2009 年)、M3 (2012 年) 和 M4 (2015 年) 实例。我们的客户使用通用型实例来运行 Web 和应用程序服务器,托管企业应用程序,支持在线游戏以及构建缓存机群。 新的 M5 实例 今天我们推出了新的 M5 实例,又向前迈出了一大步。这些实例得益于我们对持续创新的坚定承诺,可提供比以前实例更高的性价比。M5 实例采用自定义的 Intel® Xeon® Platinum 8175M 系列处理器,运行频率为 2.5 GHz;这些实例设计用于高要求的工作负载,相比基于每内核的 M4 实例,性价比可提高 14%。对于使用 AVX-512 指令的应用程序,启动速度将是每内核 FLOPS 的两倍。我们还为高端实例增加了一个新的大小,让您有更多的选择。 下面列出了 M5 实例 (所有实例均仅限 VPC、仅限 HVM 以及 EBS 优化): 实例名称 […]

Read More

能够直接访问硬件的 Amazon EC2 裸机实例

当客户向我们提出有关 AWS 的新的独特要求时,我们会仔细聆听,询问许多问题,并尽力理解和满足他们的需求。当我们这样做时,我们会公开发布此类服务或功能;我们不会为单个客户构建一次性或“用过即弃”的服务或功能。因为这种模式很混乱,难以扩展,不符合我们的工作方式。 相反,每个 AWS 客户都可以访问我们构建的任何内容,而且每个人都可以从中受益。VMware Cloud on AWS 就是此战略实际运用的一个很好的例子。他们告诉我们,他们希望直接在硬件上运行虚拟化堆栈,在 AWS 云中为客户提供 AWS 带来的弹性、安全性和可靠性 (以及种类繁多的服务)。 我们知道其他客户对于裸机硬件也有一些有趣的使用案例,并且不希望嵌套虚拟化的性能受到影响。对于利用性能计数器和 Intel® VT 等低级别硬件特性 (这些特性在虚拟化环境中并非始终可用或完全受支持) 的应用程序,以及旨在直接在硬件上运行或者获得许可并支持在非虚拟化环境中使用的应用程序,他们希望能够访问物理资源。 多年来,我们一直在开展将网络、存储和其他 EC2 功能从我们的虚拟化平台转移到专用硬件的工作,并为可能的解决方案奠定了坚实的基础。正如我在现已推出 – Amazon EC2 的计算密集型 C5 实例中描述的那样,这项工作包括一组专用硬件加速器。 现在我们已经为 VMware 提供了他们要求的裸机访问,并且正在面向所有 AWS 客户推出此功能。我非常期待看到您利用它们来实现相关目标! 新的裸机实例 今天,我们开始公开预览 i3.metal 实例,这是 EC2 实例系列中的第一个实例,提供了两全其美的功能,允许操作系统直接在底层硬件上运行,同时仍然提供云的所有优势。该实例让您能够直接访问处理器和其他硬件,并具有以下规格: 处理 – 以 2.3 GHz 速度运行的两个 Intel Xeon E5-2686 v4 处理器,总共 36 个超线程内核 (72 […]

Read More

演示 Amazon Sumerian:创建 VR、AR 和 3D 体验的简单方法

如果您有机会阅读我撰写的博客文章或参加我在各种会议中举办的研讨会,您或许知道我肯定是个女极客。云、人工智能、物联网和创客空间以及虚拟现实和增强现实等技术领域的所有最新进展把我深深迷住了。在我看来,这是成为极客的绝佳时机。我们在努力通过算法和离散数学课程时梦想构建的所有内容,或者我们在观看《星球大战》和《星际迷航》时为之震惊的技术,现在都已变为现实。因此,我希望这意味着借助超光速推进器进入太空的其他星系只是时间问题,但在那之前,我至少能够制作 3D 虚拟现实和增强现实角色和图像,就像我最喜欢的节目里的那些角色和图像。 Amazon Sumerian 提供了相关工具和资源,可让任何人轻松创建和运行增强现实 (AR)、虚拟现实 (VR) 和 3D 应用程序。借助 Sumerian,您可以打造可在 Oculus、HTC Vive 和 iOS 设备 (使用 WebVR 兼容浏览器,并且即将支持 Android 设备上的 ARCore) 等硬件上运行的多平台体验。 此激动人心的新服务目前推出了预览版,提供的功能可让您从浏览器中设计高度沉静式和交互式 3D 体验。其中部分功能包括: 编辑器:一种基于 Web 的编辑器,用于通过跨平台发布构建 3D 场景,导入资产,制作交互和特殊效果脚本。 对象库:一个包含预构建对象和模板的库。 资产导入:上传在场景中使用的 3D 资产。Sumerian 支持导入 FBX、OBJ,并且即将支持 Unity 项目。 脚本库:通过其 3D 引擎为高级脚本编写功能提供 JavaScript 脚本库。 主机:逼真的 3D 动画角色,可针对性别、语音和语言进行自定义。 AWS 服务集成:支持与 Amazon Polly 和 Amazon Lex […]

Read More

如何使用AWS CodePipeline,AWS CodeBuild与AWS CloudFormation实现Amazon ECS上的持续集成持续部署解决方案

作者:郭威 1. 前述 通过本文章,您将了解如何通过AWS CodePipeline,AWS CodeBuild,AWS CloudFormation 来实现基于Amazon ECS的持续集成持续部署方案。 开发人员在GitHub中提交的新版本代码,会自动触发代码获取,打包镜像,上传镜像仓库,更新新版本容器服务,注册到负载均衡器等操作。 方案中会涉及使用如下组件: GitHub:示例使用的源,一个提交到GitHub上的PHP示例网站。AWS CodePipeline支持GitHub, AWS CodeCommit服务,或者S3作为源。此次实例使用的Demo软件工程可以从以下链接Fork: https://github.com/awslabs/ecs-demo-php-simple-app Docker:作为发布服务使用的容器。演示方案的Build阶段会使用AWS CodeBuild托管的ubuntu/docker 1.12.1基础镜像。 Amazon EC2:作为ECS的容器宿主机集群。 Amazon VPC:服务所在的网络。 Amazon ECS:AWS托管的容器编排服务。文档链接 http://docs.aws.amazon.com/zh_cn/AmazonECS/latest/developerguide/Welcome.html Amazon ECR:AWS 托管的容器镜像仓库。文档链接 http://docs.aws.amazon.com/zh_cn/AmazonECR/latest/userguide/what-is-ecr.html AWS CodePipeline:AWS 托管的持续集成持续交付服务,可以快速可靠的更新应用程序和服务,集成支持GitHub,Jenkins等主流开源工具。文档链接 http://docs.aws.amazon.com/zh_cn/codepipeline/latest/userguide/welcome.html AWS CodeBuild:AWS 托管的构建服务,用于打包代码生成可部署的软件包。文档链接 http://docs.aws.amazon.com/zh_cn/codebuild/latest/userguide/welcome.html AWS CloudFormation:批量创建和管理AWS资源的自动化脚本。文档链接 http://docs.aws.amazon.com/zh_cn/AWSCloudFormation/latest/UserGuide/Welcome.html 2.方案架构 流程如下: 开发者将一个新版本的代码工程提交到GitHub Pipeline的Source阶段,检测到指定GitHub的repo有新版本的更新,从GitHub上拉取代码工程,开启已设定好的CICD Pipeline Pipeline的Build阶段,AWS CodeBuild将新版本的代码工程打包为Docker镜像 AWS CodeBuild将打包好的镜像推送到Amazon ECR Pipeline的Deploy阶段,AWS CodePipeline触发AWS CloudFormation,其定义了Amazon ECS的Task […]

Read More

Amazon Rekognition 推出实时面部识别、图像文本识别功能支持以及改进的面部检测功能

Amazon Rekognition 今天推出了三项新功能:用于检测和识别图像中的文本的功能、用于从数千万个面部中实时识别面部的功能以及用于从一堆照片中检测出最多 100 个面部的功能。在大多数情况下,客户通过使用 Amazon Rekognition 进行面部验证和识别可将准确度提高最多 10%。 图像文本识别 使用 Amazon Rekognition 检测图像中的对象和面部的客户一直要求我们提供用于识别图像中嵌入的文本的功能。此文本的示例包括路标、交通摄像头捕获到的牌照、新闻、电视屏幕上的字幕以及手机捕获的家庭照片上覆盖的程式化引述。从今天开始,您可以使用 Rekognition 图像文本识别功能来识别和提取图像中的文本内容。图像文本识别功能专用于处理真实图像,而不是文档图像。它支持大多数拉丁文脚本中的文本以及各种布局、字体和样式中嵌入的数字。它还支持识别不同方向的背景对象 (如横幅和海报) 上覆盖的文本。 “作为一个视觉驱动型平台,Pinterest 在很大程度上依赖于图像的速度和质量,但这些图像背后的文本同样重要,因为它提供了上下文,并使我们 2 亿个以上的活跃用户能够操作书签。利用 Amazon Rekognition 的图像文本识别功能,我们可以更好地针对存储在 Amazon S3 中的数百万个“书签”,大规模地提取图像中捕获的丰富文本信息,并且延迟很低。我们期待继续与 AWS 合作,为书签用户提供优质而快速的体验并拓展我们的 Pinterest 业务。”– Vanja Josifovski,Pinterest 首席技术官 “专业摄影师经常使用 SmugMug 分享和售卖包含文字的照片,例如马拉松比赛号码布上的数字。借助 Amazon Rekognition 的图像文本识别功能,我们能够大规模地提取号码布上的数字,并向活动摄影师提供更多功能,使他们能够快速轻松地分享和售卖这些活动的照片。”– Don MacAskill,SmugMug 联合创始人、首席执行官兼首席技客 实时面部识别 您现在可对包含数千万个面部的集合执行实时面部搜索。这可将搜索延迟缩短 1/10 到 1/5,同时可对存储的面部数量比以前多 10 到 20 倍的集合执行搜索。对于安全和公共安全应用,此更新可帮助在包含数百万个面部的集合中实时识别出相关人员,从而支持需要立即响应的使用案例。 华盛顿县警察局是俄勒冈州市民拨打 911 电话时的首要响应方。该警察局还为全县其他城市警察部门提供预防犯罪的支持。在过去的一年里,该警察局一直在使用 […]

Read More

宣布设立 AWS 机器学习科研奖

我们非常激动地宣布设立 AWS 机器学习科研奖,这项全新的计划将资助那些在机器学习 (ML) 领域进行新奇科研的大学院系、院系教师、博士生和博士后研究员。我们将与卡内基梅隆大学、加州理工学院 (Caltech)、哈佛大学医学院、华盛顿大学以及加州大学伯克利分校就此计划开展合作。 AWS 云的规模和性能,再加上 Apache MXNet、Tensorflow、Caffe2、Microsoft Cognitive Toolkit (CNTK) 以及 Pytorch 等功能强大的架构,为推动机器学习领域的科研向前发展提供了前所未有的机遇。此计划的目标是,帮助科研人员加快各种机器学习应用程序和重点领域中创新算法的开发、成果发布和源代码开发。获奖者除了可以获得资助,还能获得计算资源、培训,以及来自 Amazon 科学家和工程师的指导,还有机会参加在西雅图的 AWS 总部举办的科研研讨会。 AWS 机器学习科研奖励计划特色 参与此计划的科研人员会从以下几个方面受益: 资助 – 奖金在院系和项目级别分配,以一次性不受限制的赠与形式提供给科研机构。 AWS 积分 – 奖励包括 AWS 积分,可用于兑换任何服务,包括 EC2 P3 实例类型以及 Deep Learning AMI。 培训 – 我们向大学院系提供培训资源,包括如何在 AWS 上运行机器学习的教程,以及由 Amazon 科学家和工程师提供指导的实践讲座。 科研研讨会 – 获奖者将受邀参加西雅图的 AWS 总部举办的科研研讨会,与 Amazon 科学家讨论工作及互动。 功能强大的 ML 工具 […]

Read More