Category: Artificial Intelligence*

机器学习是许多初创公司和企业的关键技术。尽管经历了数十年的投入和改进，开发、训练和维护机器学习模型的过程仍然繁琐且欠缺通用性。将机器学习技术集成到应用程序中的过程往往需要一个专家团队进行为期数月的调整和修补，而且设置还不一致。企业和开发人员需要一个端到端、开发到生产的机器学习管道。 Amazon SageMaker 简介 Amazon SageMaker 是一种完全托管的端到端机器学习服务，数据科研人员、开发人员和机器学习专家可以快速、大规模地构建、训练和托管机器学习模型。这极大地推进了您所有的机器学习工作，让您能够将机器学习技术迅速融入生产应用程序。 Amazon SageMaker 包含三个主要组件： 编写：零设置托管式 Jupyter 笔记本 IDE，可进行数据探索、清理和预处理。您可以在一般实例类型或 GPU 驱动实例上运行上述功能。 模型训练：分布式模型构建、训练和验证服务。您可以使用内置的通用监督式和非监督式学习算法和框架，也可以借助 Docker 容器创建自己的训练。训练可以扩展到数十个实例以支持更快的模型构建。从 S3 读取训练数据，并将模型构件存放到 S3。模型构件是数据相关的模型参数，而不是允许您从模型进行推理的代码。这种问题隔离策略简化了将经过 Amazon SageMaker 培训的模型部署到物联网设备等其他平台的过程。 模型托管：一种模型托管服务，可通过 HTTPS 终端节点调用模型获取实时推理。这些终端节点能够扩展以支持流量，允许您同时对多个模型进行 A/B 测试。同样，您可以使用内置软件开发工具包构建这些终端节点，也可以利用 Docker 镜像提供自定义配置。 这些组件中的每一个都可以独立使用，这使得使用 Amazon SageMaker 填补现有管道中的空白变得极其简单。也就是说，在端到端管道中使用此服务时，您可以获得一些非常强大的功能。 使用 SageMaker 我打算构建、训练和部署一个基于 Apache MXNet 的图像分类器。我将使用 Gluon 语言、CIFAR-10 数据集和 ResNet V2 模型架构。 使用 Jupyter 笔记本编写 创建笔记本实例时，它会启动一个 ML 计算实例，其中包含深度学习应用中常见的 Anaconda […]

本文是特邀文章，由 Whooshkaa 的创始人兼 CEO Robert Loewenthal 撰写。 Whooshkaa 总部位于澳大利亚，提供创新的点播式音频播客平台，帮助出版商和广告商赢得听众。我们一直在尝试新的产品和方法，并将二者结合起来，为我们的客户开创全新的解决方案。 Amazon Polly 文本转语音 (TTS) 功能的采用就是极好的例证。很多顶级出版商、体育机构，以及澳大利亚最大的电信公司已在使用 Amazon Polly 来扩充其既有的发行方式。 这些传统信息提供商发现，客户现在不只需要阅读信息，还希望能够收听信息。借助 Amazon Polly TTS，Whooshkaa 让信息提供商能够用 48 种语音和 24 种语言向听众发布信息。 今年早些时候，Amazon Polly 为澳大利亚的主要全国性报纸《The Australian》提供语音版本。订阅者在驾车、锻炼或其他不方便阅读的情况下可以收听 Amazon Polly 朗读的新闻报道、食谱或体育赛事比分。 通过 Amazon Polly，Whooshkaa 的优秀合作伙伴可以方便地选择任何新闻报道，在几秒之内将文本转换为播客内容。我们还提供一些工具，可以合并多个报道，并通过更改口音、音调、速度和音量对声音进行自定义。 Whooshkaa 有庞大的发布网络，也就是说，听众可以选择多种方式来收听内容。最直接的选择是听众常用的播客应用程序。不过，因为 Whooshkaa 与 Facebook 存在独特的合作关系，我们的播客可以通过 Facebook 的音频播放器播放。我们的 Web 播放器可进行自定义，在 Twitter 上也受支持，实际上它可以嵌入任何网站。 我们相信，当这项技术成熟时，出版商能够以任何语言在世界上任何地方提供其新闻报道。新闻报道可以根据听众的偏好和需求进行自定义。 我们还与澳大利亚最大的电信公司 Telstra 和澳大利亚全国橄榄球联赛合作，通过任何联网的智能播音设备发布用户最爱球队的现场比分。用户可以直接向其设备询问当前比分，设备能够立即播报结果。 我们的开发人员 Christian […]

AWS DeepLens 提供了极好的机会来学习新技术，例如深度学习和物联网 (IoT)，以及构建可以解决实际问题的创新系统。该设备和服务附带有一组预定义的项目，使得从头开始运行非常简单。它设计作为开放平台，使得新手和有经验的开发人员都能构建 (和分享) 新的激动人心的项目。 在本博客文章中，您将逐步完成构建自己项目的过程，包括以下步骤： 训练深度学习模型 (使用 Amazon SageMaker) 优化经过训练的模型以在 AWS DeepLens 边缘设备上运行 开发 AWS Lambda 函数以加载模型并用于在视频流上运行推理 使用 AWS Greengrass 将 AWS Lambda 函数部署到 AWS DeepLens 设备 将边缘 AWS Lambda 函数传递到云中，用于发送命令和接收推理输出 营利 训练深度学习模型 (使用 Amazon SageMaker) Amazon SageMaker 是面向繁重的数据科学的另一项新服务。它汲取了 Amazon 数据科学家在 Amazon.com 众多业务领域的多年经验，从建议引擎到 Alexa、Amazon Go、Amazon Robotics 乃至其他无穷的基于机器学习的系统。 虽然本篇博客帖子所涵盖的内容极为有趣，不过设计和构建良好机器学习模型的完整过程远不止这些。实际上，通过将深度学习模型部署到 DeepLens 设备，然后传输回来并从输出中获益，一旦通过这个流程实现生产，您就会发现自己会有越来越多的时间构建模型，来解决真实世界的新问题。 对于机器学习新手以及数据科学专家而言，当您在 Amazon SageMaker […]

AWS DeepLens 是一个带有摄像头的支持深度学习的开发人员工具包。它使您能够通过实操计算机视觉教程和预建模型来开发机器学习技能并进行扩展。预构建模型的示例包括：用于识别和检测房间里的不同对象 (如电视显示器、人和瓶子) 的对象检测以及用于识别不同类型的动作 (如刷牙、涂口红、打鼓、拉小提琴和打篮球) 的动作识别。 AWS DeepLens 可让您从设备的摄像头显示流以及在 IoT 控制台和本地设备上显示模型的输出。有关了解有关如何执行此操作的更多信息，您可以参阅文档。在本博客文章中，我们将讨论如何通过 HTML 页面上的 AWS DeepLens 自定义和显示项目输出。 我们将使用： Amazon Cognito，旨在使 HTML 页面能够通过 IoT WebSockets 访问 AWS DeepLens MQTT 消息 AWS IoT，旨在处理数据订阅和发布 Amazon S3，旨在存储用于显示输出的 HTML 文件 您可以使用 AWS CLI 或 AWS 管理控制台来自定义 AWS DeepLens 项目输出。使用 CLI 和控制台的步骤如下所示。 先决条件 要执行以下步骤以自定义 AWS DeepLens 输出，您需要 拥有一台 AWS DeepLens 设备 […]

AWS DeepLens 是一个带有摄像头的支持深度学习的开发人员工具包。它使您能够通过实操计算机视觉教程和预建模型来开发机器学习技能并进行扩展。 本博客文章将说明如何借助 AWS IoT 规则引擎和 Lambda 函数来利用云功能扩展 DeepLens 的本地功能。我们在这里介绍的简单功能是：在您通过 DeepLens 设备看到热狗后向您的电话号码发送 SMS 通知。我们期望有更多的高级用户扩展此功能以包含其他 AWS 云服务，例如 Amazon Elasticsearch Service (利用时间轴和帧为检测到的所有对象和面部构建控制面板和搜索界面)、Amazon Kinesis Analytics (构建有关在您的店面前走过的人数的异常检测模型)、Amazon Rekognition (使用名人识别和面部搜索 API 来识别您周围的 VIP) 和很多其服务。 这里有一张示意图展示了系统中数据的流动 – 从摄像头前部的物体一直到您口袋中的移动设备。 创建 Lambda 函数 首先，您将创建一个 AWS Lambda 函数，该函数将在云中运行并为具有足够高 (>0.5) 的概率获得热狗的人筛选来自您的 DeepLens 设备的消息。在此过程中，您还将在 AWS IoT 规则引擎中创建一条规则，用于从您使用 AWS Greengrass 部署到设备的 Lambda 函数获取消息。 在 AWS Lambda […]

在这篇博客文章中，我们将演示如何使用 Amazon EMR 上的 Apache MXNet (孵化) 和 Apache Spark 对大型数据集运行分布式离线推理。我们将说明离线推理如何起作用、为何离线推理具有挑战性以及如何利用 Amazon EMR 上的 MXNet 和 Spark 来应对这些挑战。 大型数据集上的分布式推理 – 需求与挑战 在进行有关深度学习模型的培训后，可以对新数据上运行推理了。可对需要即时反馈的任务 (如欺诈检测) 执行实时推理。这通常称作在线推理。或者，也可在预计算有用时执行离线推理。离线推理的常用案例是用于具有低延迟要求的服务，例如，要求对许多用户-产品分数进行排序和排名的推荐系统。在这些情况下，将使用离线推理来预计算推荐。结果将存储在低延迟存储中，而且将按需使用存储中的推荐。离线推理的另一个使用案例是使用从先进模型中生成的预测回填历史数据。作为一个假想的示例，报纸可利用此设置来使用从人员检测模型中预测的人员姓名回填已存档的照片。分布式推理还可用于基于历史数据测试新模型以验证这些模型在部署到生产之前是否会产生更好的结果。 通常，会在跨数百万条或更多记录的大型数据集上执行分布式推理。在合理的时间范围内处理这类大规模数据集需要一组计算机设置和深度学习功能。借助分布式群集，可使用数据分区、批处理和任务并行化来进行高吞吐量处理。但是，设置深度学习数据处理群集会面临一些挑战： 群集设置和管理：设置和监控节点、维护高可用性、部署和配置软件包等。 资源和作业管理：计划和跟踪作业、对数据进行分区和处理作业失败。 深度学习设置：部署、配置和运行深度学习任务。 接下来，本博客文章将介绍如何使用 Amazon EMR 上的 MXNet 和 Spark 来应对这些挑战。 使用 MXNet 和 Spark 进行分布式推理 利用 Amazon EMR，可轻松、经济高效地使用 Spark 和 MXNet 来启动可扩展群集。Amazon EMR 按秒计费，并且可使用 Amazon EC2 竞价型实例来降低工作负载的成本。 Amazon EMR […]

Amazon Rekognition 今天推出了三项新功能：用于检测和识别图像中的文本的功能、用于从数千万个面部中实时识别面部的功能以及用于从一堆照片中检测出最多 100 个面部的功能。在大多数情况下，客户通过使用 Amazon Rekognition 进行面部验证和识别可将准确度提高最多 10%。 图像文本识别 使用 Amazon Rekognition 检测图像中的对象和面部的客户一直要求我们提供用于识别图像中嵌入的文本的功能。此文本的示例包括路标、交通摄像头捕获到的牌照、新闻、电视屏幕上的字幕以及手机捕获的家庭照片上覆盖的程式化引述。从今天开始，您可以使用 Rekognition 图像文本识别功能来识别和提取图像中的文本内容。图像文本识别功能专用于处理真实图像，而不是文档图像。它支持大多数拉丁文脚本中的文本以及各种布局、字体和样式中嵌入的数字。它还支持识别不同方向的背景对象 (如横幅和海报) 上覆盖的文本。 “作为一个视觉驱动型平台，Pinterest 在很大程度上依赖于图像的速度和质量，但这些图像背后的文本同样重要，因为它提供了上下文，并使我们 2 亿个以上的活跃用户能够操作书签。利用 Amazon Rekognition 的图像文本识别功能，我们可以更好地针对存储在 Amazon S3 中的数百万个“书签”，大规模地提取图像中捕获的丰富文本信息，并且延迟很低。我们期待继续与 AWS 合作，为书签用户提供优质而快速的体验并拓展我们的 Pinterest 业务。”– Vanja Josifovski，Pinterest 首席技术官 “专业摄影师经常使用 SmugMug 分享和售卖包含文字的照片，例如马拉松比赛号码布上的数字。借助 Amazon Rekognition 的图像文本识别功能，我们能够大规模地提取号码布上的数字，并向活动摄影师提供更多功能，使他们能够快速轻松地分享和售卖这些活动的照片。”– Don MacAskill，SmugMug 联合创始人、首席执行官兼首席技客 实时面部识别 您现在可对包含数千万个面部的集合执行实时面部搜索。这可将搜索延迟缩短 1/10 到 1/5，同时可对存储的面部数量比以前多 10 到 20 倍的集合执行搜索。对于安全和公共安全应用，此更新可帮助在包含数百万个面部的集合中实时识别出相关人员，从而支持需要立即响应的使用案例。 华盛顿县警察局是俄勒冈州市民拨打 911 电话时的首要响应方。该警察局还为全县其他城市警察部门提供预防犯罪的支持。在过去的一年里，该警察局一直在使用 […]

AWS 账户的安全性是重中之重。随时了解您 AWS 账户中与安全相关的所有最新事件非常重要。您可以通过多种方式接收警报，例如通过电子邮件或短信，不过在本博客帖子中，我将向您演示如何使用 Amazon AI 服务 (例如 Amazon Polly) 以及任何基于云的通信平台 (例如 Twilio)，在手机上接听语音警报。 Amazon Polly 是一项将文本转换为逼真语音的服务，让您可以构建支持聊天功能的应用程序，从而打造全新类别的具有语音功能的产品。它使用深度学习技术来合成类似于人声的语音。该服务提供了不同语言的各种语音。 对于外出的企业 IT 安全人员，有关 AWS 账户安全事件的电话呼叫警报可以带来极大的帮助。这些安全事件可以根据事件的严重性和优先级进行自定义。严重性和优先级较高的安全事件可以发送到通过电话呼叫报警的系统中。 对于电话呼叫报警，我会使用 Twilio，它提供了 API 功能，例如语音、视频和消息传送。当给定 AWS 账户中发生安全事件时，使用 Twilio 的平台能够以编程方式发布 API 调用，用于进行电话呼叫。Amazon Polly 将此文本警报转换为在电话呼叫上播放的语音消息。 解决方案概述 该解决方案包括两个系统，如以下架构图所示： 事件检测和通知系统 文本到语音转换系统 事件检测和通知系统与文本到语音转换系统彼此分离，这是因为后一个系统对用户定义的任何其他事件检测通用。在此博客帖子中，作为解决方案示例，我重点介绍文本到语音转换系统，并使用来自我之前博客帖子中介绍的事件检测和通知系统。

在我们无人驾驶车辆系列的第一篇博客文章中，您制作了一辆 Donkey 车并将导航服务器部署到了 Amazon EC2 实例上。在第二篇博客文章中，您学习了如何驾驶 Donkey 车辆，Donkey 车辆也学习了如何自行驾驶。在第三篇博客文章中，您学习了如何通过 AWS IoT 将 Donkey 车辆的遥测数据流式传输到 AWS 的过程。 在这篇博文中，我们将深入探讨实现车辆自行驾驶的深度学习框架，并介绍采用卷积神经网络 (CNN) 的行为克隆概念。CNN 是一项面向计算机视觉任务的先进建模技术，可帮助解答车辆可能会遇到的问题，例如，“我前面是轨道还是圆锥形路标？” 1) 在 AWS 上制造一辆无人驾驶车辆，并参加 re:Invent 机器人车拉力赛 2) 《制作无人驾驶车辆》第 2 部分：驾驶您的车辆 3) 《制作无人驾驶车辆》第 3 部分：连接您的无人驾驶车辆 4) 《制作无人驾驶车辆》第 4 部分：通过 Apache MXNet，为您的自动驾驶车辆应用行为克隆技术 P2 上的 Donkey 训练数据设置 我们已在博客文章 2 中详细演练了如何运行训练。但是，让我们在这里回顾一下关键步骤和命令： 将数据从 Pi 复制到 Amazon EC2 实例： $ rsync -rva –progress -e […]

今天，AWS 很高兴地宣布 Amazon EMR 将支持 Apache MXNet 和新一代 GPU 实例类型，让您可以在进行机器学习工作流程和大数据处理的同时运行分布式深度神经网络。此外，您还可以在采用 GPU 硬件的 EMR 群集上安装并运行自定义深度学习库。通过使用深度学习框架，您可以使用新工具包来处理多种使用案例，包括无人驾驶车辆、人工智能、个性化医疗和计算机视觉。 Amazon EMR 提供一个 Hadoop 托管框架，可以让您轻松、快速且经济高效地使用 Apache Spark、Apache Hive、Presto、Apache HBase 和 Apache Flink 等框架处理 Amazon S3 中的大量数据。您可以低成本安全、高效地处理大量大数据使用案例，包括日志分析、Web 索引、数据转换 (ETL)、财务分析、科学模拟、实时处理和生物信息。 多年来，EMR 一直致力于帮助您运行可扩展的机器学习工作负载。2013 年，我们增加了对 Apache Mahout 的支持，以帮助您使用 Apache Hadoop MapReduce 来运行分布式机器学习工作负载。2014 年，客户开始利用 Apache Spark (我们在 2015 年增加了官方支持)，以便利用 Spark ML 中提供的各种开源机器学习库来轻松构建可扩展的机器学习管道。 在过去 2 年内，我们还增加了对 Apache […]