亚马逊AWS官方博客

Category: Artificial Intelligence*

扩展 AWS DeepLens 以使用 AWS Lambda 发送 SMS 通知

AWS DeepLens 是一个带有摄像头的支持深度学习的开发人员工具包。它使您能够通过实操计算机视觉教程和预建模型来开发机器学习技能并进行扩展。 本博客文章将说明如何借助 AWS IoT 规则引擎和 Lambda 函数来利用云功能扩展 DeepLens 的本地功能。我们在这里介绍的简单功能是:在您通过 DeepLens 设备看到热狗后向您的电话号码发送 SMS 通知。我们期望有更多的高级用户扩展此功能以包含其他 AWS 云服务,例如 Amazon Elasticsearch Service (利用时间轴和帧为检测到的所有对象和面部构建控制面板和搜索界面)、Amazon Kinesis Analytics (构建有关在您的店面前走过的人数的异常检测模型)、Amazon Rekognition (使用名人识别和面部搜索 API 来识别您周围的 VIP) 和很多其服务。 这里有一张示意图展示了系统中数据的流动 – 从摄像头前部的物体一直到您口袋中的移动设备。 创建 Lambda 函数 首先,您将创建一个 AWS Lambda 函数,该函数将在云中运行并为具有足够高 (>0.5) 的概率获得热狗的人筛选来自您的 DeepLens 设备的消息。在此过程中,您还将在 AWS IoT 规则引擎中创建一条规则,用于从您使用 AWS Greengrass 部署到设备的 Lambda 函数获取消息。 在 AWS Lambda […]

Read More

使用 Amazon EMR 上的 Apache MXNet 和 Apache Spark 进行分布式推理

在这篇博客文章中,我们将演示如何使用 Amazon EMR 上的 Apache MXNet (孵化) 和 Apache Spark 对大型数据集运行分布式离线推理。我们将说明离线推理如何起作用、为何离线推理具有挑战性以及如何利用 Amazon EMR 上的 MXNet 和 Spark 来应对这些挑战。 大型数据集上的分布式推理 – 需求与挑战 在进行有关深度学习模型的培训后,可以对新数据上运行推理了。可对需要即时反馈的任务 (如欺诈检测) 执行实时推理。这通常称作在线推理。或者,也可在预计算有用时执行离线推理。离线推理的常用案例是用于具有低延迟要求的服务,例如,要求对许多用户-产品分数进行排序和排名的推荐系统。在这些情况下,将使用离线推理来预计算推荐。结果将存储在低延迟存储中,而且将按需使用存储中的推荐。离线推理的另一个使用案例是使用从先进模型中生成的预测回填历史数据。作为一个假想的示例,报纸可利用此设置来使用从人员检测模型中预测的人员姓名回填已存档的照片。分布式推理还可用于基于历史数据测试新模型以验证这些模型在部署到生产之前是否会产生更好的结果。 通常,会在跨数百万条或更多记录的大型数据集上执行分布式推理。在合理的时间范围内处理这类大规模数据集需要一组计算机设置和深度学习功能。借助分布式群集,可使用数据分区、批处理和任务并行化来进行高吞吐量处理。但是,设置深度学习数据处理群集会面临一些挑战: 群集设置和管理:设置和监控节点、维护高可用性、部署和配置软件包等。 资源和作业管理:计划和跟踪作业、对数据进行分区和处理作业失败。 深度学习设置:部署、配置和运行深度学习任务。 接下来,本博客文章将介绍如何使用 Amazon EMR 上的 MXNet 和 Spark 来应对这些挑战。 使用 MXNet 和 Spark 进行分布式推理 利用 Amazon EMR,可轻松、经济高效地使用 Spark 和 MXNet 来启动可扩展群集。Amazon EMR 按秒计费,并且可使用 Amazon EC2 竞价型实例来降低工作负载的成本。 Amazon EMR […]

Read More

Amazon Rekognition 推出实时面部识别、图像文本识别功能支持以及改进的面部检测功能

Amazon Rekognition 今天推出了三项新功能:用于检测和识别图像中的文本的功能、用于从数千万个面部中实时识别面部的功能以及用于从一堆照片中检测出最多 100 个面部的功能。在大多数情况下,客户通过使用 Amazon Rekognition 进行面部验证和识别可将准确度提高最多 10%。 图像文本识别 使用 Amazon Rekognition 检测图像中的对象和面部的客户一直要求我们提供用于识别图像中嵌入的文本的功能。此文本的示例包括路标、交通摄像头捕获到的牌照、新闻、电视屏幕上的字幕以及手机捕获的家庭照片上覆盖的程式化引述。从今天开始,您可以使用 Rekognition 图像文本识别功能来识别和提取图像中的文本内容。图像文本识别功能专用于处理真实图像,而不是文档图像。它支持大多数拉丁文脚本中的文本以及各种布局、字体和样式中嵌入的数字。它还支持识别不同方向的背景对象 (如横幅和海报) 上覆盖的文本。 “作为一个视觉驱动型平台,Pinterest 在很大程度上依赖于图像的速度和质量,但这些图像背后的文本同样重要,因为它提供了上下文,并使我们 2 亿个以上的活跃用户能够操作书签。利用 Amazon Rekognition 的图像文本识别功能,我们可以更好地针对存储在 Amazon S3 中的数百万个“书签”,大规模地提取图像中捕获的丰富文本信息,并且延迟很低。我们期待继续与 AWS 合作,为书签用户提供优质而快速的体验并拓展我们的 Pinterest 业务。”– Vanja Josifovski,Pinterest 首席技术官 “专业摄影师经常使用 SmugMug 分享和售卖包含文字的照片,例如马拉松比赛号码布上的数字。借助 Amazon Rekognition 的图像文本识别功能,我们能够大规模地提取号码布上的数字,并向活动摄影师提供更多功能,使他们能够快速轻松地分享和售卖这些活动的照片。”– Don MacAskill,SmugMug 联合创始人、首席执行官兼首席技客 实时面部识别 您现在可对包含数千万个面部的集合执行实时面部搜索。这可将搜索延迟缩短 1/10 到 1/5,同时可对存储的面部数量比以前多 10 到 20 倍的集合执行搜索。对于安全和公共安全应用,此更新可帮助在包含数百万个面部的集合中实时识别出相关人员,从而支持需要立即响应的使用案例。 华盛顿县警察局是俄勒冈州市民拨打 911 电话时的首要响应方。该警察局还为全县其他城市警察部门提供预防犯罪的支持。在过去的一年里,该警察局一直在使用 […]

Read More

使用 Amazon Polly 针对 AWS 账户安全事件进行电话呼叫报警

AWS 账户的安全性是重中之重。随时了解您 AWS 账户中与安全相关的所有最新事件非常重要。您可以通过多种方式接收警报,例如通过电子邮件或短信,不过在本博客帖子中,我将向您演示如何使用 Amazon AI 服务 (例如 Amazon Polly) 以及任何基于云的通信平台 (例如 Twilio),在手机上接听语音警报。 Amazon Polly 是一项将文本转换为逼真语音的服务,让您可以构建支持聊天功能的应用程序,从而打造全新类别的具有语音功能的产品。它使用深度学习技术来合成类似于人声的语音。该服务提供了不同语言的各种语音。 对于外出的企业 IT 安全人员,有关 AWS 账户安全事件的电话呼叫警报可以带来极大的帮助。这些安全事件可以根据事件的严重性和优先级进行自定义。严重性和优先级较高的安全事件可以发送到通过电话呼叫报警的系统中。 对于电话呼叫报警,我会使用 Twilio,它提供了 API 功能,例如语音、视频和消息传送。当给定 AWS 账户中发生安全事件时,使用 Twilio 的平台能够以编程方式发布 API 调用,用于进行电话呼叫。Amazon Polly 将此文本警报转换为在电话呼叫上播放的语音消息。 解决方案概述 该解决方案包括两个系统,如以下架构图所示: 事件检测和通知系统 文本到语音转换系统 事件检测和通知系统与文本到语音转换系统彼此分离,这是因为后一个系统对用户定义的任何其他事件检测通用。在此博客帖子中,作为解决方案示例,我重点介绍文本到语音转换系统,并使用来自我之前博客帖子中介绍的事件检测和通知系统。

Read More

《制作无人驾驶车辆》第 4 部分:通过 Apache MXNet,为您的自动驾驶车辆应用行为克隆技术

在我们无人驾驶车辆系列的第一篇博客文章中,您制作了一辆 Donkey 车并将导航服务器部署到了 Amazon EC2 实例上。在第二篇博客文章中,您学习了如何驾驶 Donkey 车辆,Donkey 车辆也学习了如何自行驾驶。在第三篇博客文章中,您学习了如何通过 AWS IoT 将 Donkey 车辆的遥测数据流式传输到 AWS 的过程。 在这篇博文中,我们将深入探讨实现车辆自行驾驶的深度学习框架,并介绍采用卷积神经网络 (CNN) 的行为克隆概念。CNN 是一项面向计算机视觉任务的先进建模技术,可帮助解答车辆可能会遇到的问题,例如,“我前面是轨道还是圆锥形路标?” 1) 在 AWS 上制造一辆无人驾驶车辆,并参加 re:Invent 机器人车拉力赛 2) 《制作无人驾驶车辆》第 2 部分:驾驶您的车辆 3) 《制作无人驾驶车辆》第 3 部分:连接您的无人驾驶车辆 4) 《制作无人驾驶车辆》第 4 部分:通过 Apache MXNet,为您的自动驾驶车辆应用行为克隆技术 P2 上的 Donkey 训练数据设置 我们已在博客文章 2 中详细演练了如何运行训练。但是,让我们在这里回顾一下关键步骤和命令: 将数据从 Pi 复制到 Amazon EC2 实例: $ rsync -rva –progress -e […]

Read More

在 Amazon EMR 上运行带有多种 GPU 实例类型的深度学习框架

今天,AWS 很高兴地宣布 Amazon EMR 将支持 Apache MXNet 和新一代 GPU 实例类型,让您可以在进行机器学习工作流程和大数据处理的同时运行分布式深度神经网络。此外,您还可以在采用 GPU 硬件的 EMR 群集上安装并运行自定义深度学习库。通过使用深度学习框架,您可以使用新工具包来处理多种使用案例,包括无人驾驶车辆、人工智能、个性化医疗和计算机视觉。 Amazon EMR 提供一个 Hadoop 托管框架,可以让您轻松、快速且经济高效地使用 Apache Spark、Apache Hive、Presto、Apache HBase 和 Apache Flink 等框架处理 Amazon S3 中的大量数据。您可以低成本安全、高效地处理大量大数据使用案例,包括日志分析、Web 索引、数据转换 (ETL)、财务分析、科学模拟、实时处理和生物信息。 多年来,EMR 一直致力于帮助您运行可扩展的机器学习工作负载。2013 年,我们增加了对 Apache Mahout 的支持,以帮助您使用 Apache Hadoop MapReduce 来运行分布式机器学习工作负载。2014 年,客户开始利用 Apache Spark (我们在 2015 年增加了官方支持),以便利用 Spark ML 中提供的各种开源机器学习库来轻松构建可扩展的机器学习管道。 在过去 2 年内,我们还增加了对 Apache […]

Read More

宣布为 Apache MXNet 推出 ONNX 支持

今天,AWS 宣布推出 ONNX-MXNet,它是一种用于将 Open Neural Network Exchange (ONNX) 深度学习模型导入到 Apache MXNet 的开源 Python 程序包。MXNet 是功能齐全且可扩展的深度学习框架,可以跨 Python、Scala 和 R 等多种热门语言提供 API。通过 MXNet 的 ONNX 格式支持,开发人员可以使用 PyTorch、Microsoft Cognitive Toolkit 或 Caffe2 等其他框架构建和训练模型,然后将这些模型导入 MXNet 中运行,从而使用 MXNet 高度优化且可扩展的引擎进行推理。 我们还很激动地告诉大家,AWS 将在 ONNX 格式方面参与合作。我们将与 Facebook、Microsoft 和深度学习社区合作,进一步开发 ONNX,让深度学习从业人员都可以访问和使用它。 什么是 ONNX? ONNX 是一种用于对深度学习模型进行编码的开源格式。ONNX 定义神经网络计算图的格式以及图中使用的大量运算符的格式。随着越来越多的框架和硬件供应商支持 ONNX,从事深度学习的开发人员可以轻松地在框架间移动,选择最适合当前任务的框架。 快速入门 我们将介绍如何使用 ONNX-MXNet 将 ONNX 模型导入 MXNet,以及如何使用导入的模型进行推理,从 MXNet […]

Read More

AWS Deep Learning Conda AMI 和 Base AMI 入门

今天,AWS 宣布发布两个新版本的 AWS Deep Learning AMI:基于 Conda 的 AMI 和 Base AMI。本文介绍有关如何充分利用新 AMI 的说明和其他资源。 带 Conda 托管环境的新 Deep Learning AMI 这些面向 Amazon Linux 和 Ubuntu 的新 Deep Learning AMI 预安装了 Python 环境,用于使用 Conda 这个热门开源软件包和环境管理工具创建的深度学习。Conda 托管 Python 环境针对常见深度学习框架 (包括 Apache MXNet、TensorFlow、Caffe2、PyTorch、Keras、CNTK 和 Theano) 进行了预先配置。此外,每个 Python 环境都有两个版本 – Python 2 和 Python 3。使用 AWS 管理控制台登录 AWS EC2 […]

Read More

面向机器学习从业人员的新 AWS Deep Learning AMI

我们非常高兴宣布推出两个新版本的 AWS Deep Learning AMI:一个是基于 Conda 的 AMI,它具有单独的 Python 环境,面向通过 Conda 这个热门开源软件包和环境管理工具创建的深度学习框架;另一个是 Base AMI,它带有 GPU 驱动程序和库,可用来部署您自己的自定义深度学习模型。 在学术界和业界,从框架和算法到新的方法和理论,深度学习技术正在快速发展。对于需要快速安全测试算法、针对特定版本框架进行优化、运行测试和设置基准或从头开始合作项目的开发人员而言,这一切显得非常复杂。虚拟环境可为这些工作提供自由和灵活性,这就是我们现在向 AWS Deep Learning AMI 加入虚拟技术的原因。我们还准备了全新的开发人员资源,以帮助您详细了解这些 AMI,帮助您为项目选择合适的 AMI以及深入学习实践教程。 基于 Conda 的新 Deep Learning AMI 基于 Conda 的 AMI 预安装了 Python 环境,适合使用 Conda 创建的深度学习。每个基于 Conda 的 Python 环境都配置为包括常见深度学习框架及其依赖项。将它视为一个完全备份的虚拟环境,随时可以运行您的深度学习代码,例如,用来训练神经网络模型。我们的分步指南提供了有关如何为所选深度学习框架激活环境或使用简单的单行命令在不同环境之间进行切换的说明。 该 AMI 的优势不止于此。该 AMI 上的环境以相互隔离、独立的沙盒形式运行。这意味着,当您在沙盒内运行自己的深度学习代码时,可以全面了解和控制其运行时环境。您可以安装新软件包、升级现有软件包或更改环境变量,完全不用担心影响 AMI 上的其他深度学习环境。  这种级别的执行环境灵活性和精细控制还意味着您现在可以对深度学习模型运行一致和随着时间推移可再现的测试以及设置性能基准。 最后,该 AMI 提供直接集成 Jupyter […]

Read More

使用 Amazon Rekognition 和图形数据库来了解电影明星的社交网络

Amazon Rekognition 是一种让您能够向应用程序中轻松添加图像分析功能的 AWS 服务。由深度学习提供技术支持的此计算机视觉 API 中增加的最新功能为名人识别。这项简单易用的功能能够检测并识别出各领域数以千计的著名、值得注意或广为人知的人士。用户可以利用该工具根据任何特定兴趣对名人的数字图像库编制索引和进行搜索。 我们看到客户存储个人相关数据的一种常见方式是使用图形数据库。在之前的博文中我们曾仔细讨论过,像 Facebook、LinkedIn 和 Twitter 这样的公司已凭借其对庞大关系网络的管理能力,让整个社会的互动方式发生了彻底变革。本博文的目的就是展示将 Rekognition 的名人及人脸识别功能与图形数据库中存储的关系信息进行配对是多么简单。 这些技术的配对让客户只需要一张图片就能够知道图片中的人物与另一位相关人物的关系。用户甚至可以提交两张图片,然后快速确定这两张不同图片中的两个人之间可能存在怎样的相互关系。这种关系映射的一个有趣例子就是著名的 Kevin Bacon 六度分割游戏。然而,此类应用存在巨大商业价值。执法机构可以从两张图片入手,先使用 Rekognition 来识别当事人,然后再通过查询图形数据库来判断两名当事人是否彼此相识。同样地,酒店类公司也可以使用 Rekognition 和图形数据库来快速识别酒店内的任何名人,以及了解有哪些他们可能认识的其他名人在附近住宿。 在本博文中,我们将展示如何将 Rekognition 与图形数据库(我们将使用Neo4j 社区版)和使用 D3.js 库的 Jupyter Notebook 结合使用。 设置 要开始使用这项令人兴奋的组合技术,首先要从 AWS 实验室 Github 存储库获得一份项目副本。该项目结构主要包含两个方面: <project root> – 这是实际的 Jupyter Notebook 及所有依赖项所在的位置。 <project root>/cft – AWS CloudFormation 模板、示例属性,以及创建基础设施的示例命令。 您将需要添加一个新的或现有的 SSH 密钥。AWS CloudFormation 模板会安装 […]

Read More