Category: Artificial Intelligence

AWS DeepLens 提供了极好的机会来学习新技术，例如深度学习和物联网 (IoT)，以及构建可以解决实际问题的创新系统。该设备和服务附带有一组预定义的项目，使得从头开始运行非常简单。它设计作为开放平台，使得新手和有经验的开发人员都能构建 (和分享) 新的激动人心的项目。 在本博客文章中，您将逐步完成构建自己项目的过程，包括以下步骤： 训练深度学习模型 (使用 Amazon SageMaker) 优化经过训练的模型以在 AWS DeepLens 边缘设备上运行 开发 AWS Lambda 函数以加载模型并用于在视频流上运行推理 使用 AWS Greengrass 将 AWS Lambda 函数部署到 AWS DeepLens 设备 将边缘 AWS Lambda 函数传递到云中，用于发送命令和接收推理输出 营利 训练深度学习模型 (使用 Amazon SageMaker) Amazon SageMaker 是面向繁重的数据科学的另一项新服务。它汲取了 Amazon 数据科学家在 Amazon.com 众多业务领域的多年经验，从建议引擎到 Alexa、Amazon Go、Amazon Robotics 乃至其他无穷的基于机器学习的系统。 虽然本篇博客帖子所涵盖的内容极为有趣，不过设计和构建良好机器学习模型的完整过程远不止这些。实际上，通过将深度学习模型部署到 DeepLens 设备，然后传输回来并从输出中获益，一旦通过这个流程实现生产，您就会发现自己会有越来越多的时间构建模型，来解决真实世界的新问题。 对于机器学习新手以及数据科学专家而言，当您在 Amazon SageMaker […]

AWS DeepLens 是一个带有摄像头的支持深度学习的开发人员工具包。它使您能够通过实操计算机视觉教程和预建模型来开发机器学习技能并进行扩展。预构建模型的示例包括：用于识别和检测房间里的不同对象 (如电视显示器、人和瓶子) 的对象检测以及用于识别不同类型的动作 (如刷牙、涂口红、打鼓、拉小提琴和打篮球) 的动作识别。 AWS DeepLens 可让您从设备的摄像头显示流以及在 IoT 控制台和本地设备上显示模型的输出。有关了解有关如何执行此操作的更多信息，您可以参阅文档。在本博客文章中，我们将讨论如何通过 HTML 页面上的 AWS DeepLens 自定义和显示项目输出。 我们将使用： Amazon Cognito，旨在使 HTML 页面能够通过 IoT WebSockets 访问 AWS DeepLens MQTT 消息 AWS IoT，旨在处理数据订阅和发布 Amazon S3，旨在存储用于显示输出的 HTML 文件 您可以使用 AWS CLI 或 AWS 管理控制台来自定义 AWS DeepLens 项目输出。使用 CLI 和控制台的步骤如下所示。 先决条件 要执行以下步骤以自定义 AWS DeepLens 输出，您需要 拥有一台 AWS DeepLens 设备 […]

AWS DeepLens 是一个带有摄像头的支持深度学习的开发人员工具包。它使您能够通过实操计算机视觉教程和预建模型来开发机器学习技能并进行扩展。 本博客文章将说明如何借助 AWS IoT 规则引擎和 Lambda 函数来利用云功能扩展 DeepLens 的本地功能。我们在这里介绍的简单功能是：在您通过 DeepLens 设备看到热狗后向您的电话号码发送 SMS 通知。我们期望有更多的高级用户扩展此功能以包含其他 AWS 云服务，例如 Amazon Elasticsearch Service (利用时间轴和帧为检测到的所有对象和面部构建控制面板和搜索界面)、Amazon Kinesis Analytics (构建有关在您的店面前走过的人数的异常检测模型)、Amazon Rekognition (使用名人识别和面部搜索 API 来识别您周围的 VIP) 和很多其服务。 这里有一张示意图展示了系统中数据的流动 – 从摄像头前部的物体一直到您口袋中的移动设备。 创建 Lambda 函数 首先，您将创建一个 AWS Lambda 函数，该函数将在云中运行并为具有足够高 (>0.5) 的概率获得热狗的人筛选来自您的 DeepLens 设备的消息。在此过程中，您还将在 AWS IoT 规则引擎中创建一条规则，用于从您使用 AWS Greengrass 部署到设备的 Lambda 函数获取消息。 在 AWS Lambda […]

在这篇博客文章中，我们将演示如何使用 Amazon EMR 上的 Apache MXNet (孵化) 和 Apache Spark 对大型数据集运行分布式离线推理。我们将说明离线推理如何起作用、为何离线推理具有挑战性以及如何利用 Amazon EMR 上的 MXNet 和 Spark 来应对这些挑战。 大型数据集上的分布式推理 – 需求与挑战 在进行有关深度学习模型的培训后，可以对新数据上运行推理了。可对需要即时反馈的任务 (如欺诈检测) 执行实时推理。这通常称作在线推理。或者，也可在预计算有用时执行离线推理。离线推理的常用案例是用于具有低延迟要求的服务，例如，要求对许多用户-产品分数进行排序和排名的推荐系统。在这些情况下，将使用离线推理来预计算推荐。结果将存储在低延迟存储中，而且将按需使用存储中的推荐。离线推理的另一个使用案例是使用从先进模型中生成的预测回填历史数据。作为一个假想的示例，报纸可利用此设置来使用从人员检测模型中预测的人员姓名回填已存档的照片。分布式推理还可用于基于历史数据测试新模型以验证这些模型在部署到生产之前是否会产生更好的结果。 通常，会在跨数百万条或更多记录的大型数据集上执行分布式推理。在合理的时间范围内处理这类大规模数据集需要一组计算机设置和深度学习功能。借助分布式群集，可使用数据分区、批处理和任务并行化来进行高吞吐量处理。但是，设置深度学习数据处理群集会面临一些挑战： 群集设置和管理：设置和监控节点、维护高可用性、部署和配置软件包等。 资源和作业管理：计划和跟踪作业、对数据进行分区和处理作业失败。 深度学习设置：部署、配置和运行深度学习任务。 接下来，本博客文章将介绍如何使用 Amazon EMR 上的 MXNet 和 Spark 来应对这些挑战。 使用 MXNet 和 Spark 进行分布式推理 利用 Amazon EMR，可轻松、经济高效地使用 Spark 和 MXNet 来启动可扩展群集。Amazon EMR 按秒计费，并且可使用 Amazon EC2 竞价型实例来降低工作负载的成本。 Amazon EMR […]

Amazon Rekognition 今天推出了三项新功能：用于检测和识别图像中的文本的功能、用于从数千万个面部中实时识别面部的功能以及用于从一堆照片中检测出最多 100 个面部的功能。在大多数情况下，客户通过使用 Amazon Rekognition 进行面部验证和识别可将准确度提高最多 10%。 图像文本识别 使用 Amazon Rekognition 检测图像中的对象和面部的客户一直要求我们提供用于识别图像中嵌入的文本的功能。此文本的示例包括路标、交通摄像头捕获到的牌照、新闻、电视屏幕上的字幕以及手机捕获的家庭照片上覆盖的程式化引述。从今天开始，您可以使用 Rekognition 图像文本识别功能来识别和提取图像中的文本内容。图像文本识别功能专用于处理真实图像，而不是文档图像。它支持大多数拉丁文脚本中的文本以及各种布局、字体和样式中嵌入的数字。它还支持识别不同方向的背景对象 (如横幅和海报) 上覆盖的文本。 “作为一个视觉驱动型平台，Pinterest 在很大程度上依赖于图像的速度和质量，但这些图像背后的文本同样重要，因为它提供了上下文，并使我们 2 亿个以上的活跃用户能够操作书签。利用 Amazon Rekognition 的图像文本识别功能，我们可以更好地针对存储在 Amazon S3 中的数百万个“书签”，大规模地提取图像中捕获的丰富文本信息，并且延迟很低。我们期待继续与 AWS 合作，为书签用户提供优质而快速的体验并拓展我们的 Pinterest 业务。”– Vanja Josifovski，Pinterest 首席技术官 “专业摄影师经常使用 SmugMug 分享和售卖包含文字的照片，例如马拉松比赛号码布上的数字。借助 Amazon Rekognition 的图像文本识别功能，我们能够大规模地提取号码布上的数字，并向活动摄影师提供更多功能，使他们能够快速轻松地分享和售卖这些活动的照片。”– Don MacAskill，SmugMug 联合创始人、首席执行官兼首席技客 实时面部识别 您现在可对包含数千万个面部的集合执行实时面部搜索。这可将搜索延迟缩短 1/10 到 1/5，同时可对存储的面部数量比以前多 10 到 20 倍的集合执行搜索。对于安全和公共安全应用，此更新可帮助在包含数百万个面部的集合中实时识别出相关人员，从而支持需要立即响应的使用案例。 华盛顿县警察局是俄勒冈州市民拨打 911 电话时的首要响应方。该警察局还为全县其他城市警察部门提供预防犯罪的支持。在过去的一年里，该警察局一直在使用 […]

AWS 账户的安全性是重中之重。随时了解您 AWS 账户中与安全相关的所有最新事件非常重要。您可以通过多种方式接收警报，例如通过电子邮件或短信，不过在本博客帖子中，我将向您演示如何使用 Amazon AI 服务 (例如 Amazon Polly) 以及任何基于云的通信平台 (例如 Twilio)，在手机上接听语音警报。 Amazon Polly 是一项将文本转换为逼真语音的服务，让您可以构建支持聊天功能的应用程序，从而打造全新类别的具有语音功能的产品。它使用深度学习技术来合成类似于人声的语音。该服务提供了不同语言的各种语音。 对于外出的企业 IT 安全人员，有关 AWS 账户安全事件的电话呼叫警报可以带来极大的帮助。这些安全事件可以根据事件的严重性和优先级进行自定义。严重性和优先级较高的安全事件可以发送到通过电话呼叫报警的系统中。 对于电话呼叫报警，我会使用 Twilio，它提供了 API 功能，例如语音、视频和消息传送。当给定 AWS 账户中发生安全事件时，使用 Twilio 的平台能够以编程方式发布 API 调用，用于进行电话呼叫。Amazon Polly 将此文本警报转换为在电话呼叫上播放的语音消息。 解决方案概述 该解决方案包括两个系统，如以下架构图所示： 事件检测和通知系统 文本到语音转换系统 事件检测和通知系统与文本到语音转换系统彼此分离，这是因为后一个系统对用户定义的任何其他事件检测通用。在此博客帖子中，作为解决方案示例，我重点介绍文本到语音转换系统，并使用来自我之前博客帖子中介绍的事件检测和通知系统。

在我们无人驾驶车辆系列的第一篇博客文章中，您制作了一辆 Donkey 车并将导航服务器部署到了 Amazon EC2 实例上。在第二篇博客文章中，您学习了如何驾驶 Donkey 车辆，Donkey 车辆也学习了如何自行驾驶。在第三篇博客文章中，您学习了如何通过 AWS IoT 将 Donkey 车辆的遥测数据流式传输到 AWS 的过程。 在这篇博文中，我们将深入探讨实现车辆自行驾驶的深度学习框架，并介绍采用卷积神经网络 (CNN) 的行为克隆概念。CNN 是一项面向计算机视觉任务的先进建模技术，可帮助解答车辆可能会遇到的问题，例如，“我前面是轨道还是圆锥形路标？” 1) 在 AWS 上制造一辆无人驾驶车辆，并参加 re:Invent 机器人车拉力赛 2) 《制作无人驾驶车辆》第 2 部分：驾驶您的车辆 3) 《制作无人驾驶车辆》第 3 部分：连接您的无人驾驶车辆 4) 《制作无人驾驶车辆》第 4 部分：通过 Apache MXNet，为您的自动驾驶车辆应用行为克隆技术 P2 上的 Donkey 训练数据设置 我们已在博客文章 2 中详细演练了如何运行训练。但是，让我们在这里回顾一下关键步骤和命令： 将数据从 Pi 复制到 Amazon EC2 实例： $ rsync -rva –progress -e […]

今天，AWS 很高兴地宣布 Amazon EMR 将支持 Apache MXNet 和新一代 GPU 实例类型，让您可以在进行机器学习工作流程和大数据处理的同时运行分布式深度神经网络。此外，您还可以在采用 GPU 硬件的 EMR 群集上安装并运行自定义深度学习库。通过使用深度学习框架，您可以使用新工具包来处理多种使用案例，包括无人驾驶车辆、人工智能、个性化医疗和计算机视觉。 Amazon EMR 提供一个 Hadoop 托管框架，可以让您轻松、快速且经济高效地使用 Apache Spark、Apache Hive、Presto、Apache HBase 和 Apache Flink 等框架处理 Amazon S3 中的大量数据。您可以低成本安全、高效地处理大量大数据使用案例，包括日志分析、Web 索引、数据转换 (ETL)、财务分析、科学模拟、实时处理和生物信息。 多年来，EMR 一直致力于帮助您运行可扩展的机器学习工作负载。2013 年，我们增加了对 Apache Mahout 的支持，以帮助您使用 Apache Hadoop MapReduce 来运行分布式机器学习工作负载。2014 年，客户开始利用 Apache Spark (我们在 2015 年增加了官方支持)，以便利用 Spark ML 中提供的各种开源机器学习库来轻松构建可扩展的机器学习管道。 在过去 2 年内，我们还增加了对 Apache […]

今天，AWS 宣布推出 ONNX-MXNet，它是一种用于将 Open Neural Network Exchange (ONNX) 深度学习模型导入到 Apache MXNet 的开源 Python 程序包。MXNet 是功能齐全且可扩展的深度学习框架，可以跨 Python、Scala 和 R 等多种热门语言提供 API。通过 MXNet 的 ONNX 格式支持，开发人员可以使用 PyTorch、Microsoft Cognitive Toolkit 或 Caffe2 等其他框架构建和训练模型，然后将这些模型导入 MXNet 中运行，从而使用 MXNet 高度优化且可扩展的引擎进行推理。 我们还很激动地告诉大家，AWS 将在 ONNX 格式方面参与合作。我们将与 Facebook、Microsoft 和深度学习社区合作，进一步开发 ONNX，让深度学习从业人员都可以访问和使用它。 什么是 ONNX？ ONNX 是一种用于对深度学习模型进行编码的开源格式。ONNX 定义神经网络计算图的格式以及图中使用的大量运算符的格式。随着越来越多的框架和硬件供应商支持 ONNX，从事深度学习的开发人员可以轻松地在框架间移动，选择最适合当前任务的框架。 快速入门 我们将介绍如何使用 ONNX-MXNet 将 ONNX 模型导入 MXNet，以及如何使用导入的模型进行推理，从 MXNet […]

今天，AWS 宣布发布两个新版本的 AWS Deep Learning AMI：基于 Conda 的 AMI 和 Base AMI。本文介绍有关如何充分利用新 AMI 的说明和其他资源。 带 Conda 托管环境的新 Deep Learning AMI 这些面向 Amazon Linux 和 Ubuntu 的新 Deep Learning AMI 预安装了 Python 环境，用于使用 Conda 这个热门开源软件包和环境管理工具创建的深度学习。Conda 托管 Python 环境针对常见深度学习框架 (包括 Apache MXNet、TensorFlow、Caffe2、PyTorch、Keras、CNTK 和 Theano) 进行了预先配置。此外，每个 Python 环境都有两个版本 – Python 2 和 Python 3。使用 AWS 管理控制台登录 AWS EC2 […]