Category: Artificial Intelligence

在这篇博文中，我们将展示如何利用 Amazon Translate、Amazon Comprehend、Amazon Kinesis、Amazon Athena 和 Amazon QuickSight 构建受自然语言处理 (NLP) 支持的社交媒体控制面板，以便处理推文。 组织与客户之间的社交媒体交互可以深化品牌认知度。这些交流是发掘销售线索、增加网站流量、发展客户关系并改进客户服务的低成本方法。 在这篇博文中，我们将构建无服务器数据处理和机器学习 (ML) 管道，在 Amazon QuickSight 中提供处理推文的多语言社交媒体控制面板。我们将利用 API 驱动的 ML 服务，来让开发人员只需调用高度可用、可扩展、安全的终端节点，便可轻松向任何应用程序添加智能功能，例如计算机视觉、语音、语言分析和聊天自动程序功能。借助 AWS 内的无服务器产品，这些构建块只需极少的代码便可整合在一起。在这篇博文中，我们将对流经系统的推文执行语言翻译和自然语言处理。 除了构建社交媒体控制面板之外，我们还希望捕获原始数据集和充实后的数据集，并将其长期存储在数据湖中。这将允许数据分析师快速轻松地对此数据执行新型分析和机器学习。 在这篇博文中，我们将展示如何实现以下操作： 利用 Amazon Kinesis Data Firehose 轻松捕获和准备实时数据流，并将其加载到数据存储、数据仓库和数据湖中。在本例中，我们使用的是 Amazon S3。 触发 AWS Lambda 以使用 Amazon Translate 和 Amazon Comprehend (来自 AWS 的两种完全托管式服务) 分析推文。仅需几行代码，我们就能利用这些服务将推文翻译为不同语言，并对推文执行自然语言处理 (NLP)。 在 Amazon Kinesis Data Firehose 内利用独立的 […]

今天，我们推出了 Amazon SageMaker 的最新内置算法 Amazon SageMaker DeepAR。DeepAR 是一种适用于时间序列预测的监督学习算法，该算法使用递归神经网络 (RNN) 生成点预测和概率预测。我们很高兴能为开发人员提供这种可扩展的高精度预测算法，协助 Amazon 制定任务关键型决策。正如其他 Amazon SageMaker 内置算法一样，DeepAR 算法同样无需建立和维护基础设施进行训练和推理即可使用。 预测无处不在 预测是跨众多行业应用机器学习的切入点。无论是通过更好的产品需求预测优化供应链，通过预测 Web 服务器流量更有效地分配计算资源，还是通过为医院配置人员以满足患者需要进而挽救生命，几乎进行精确预测投资的所有领域都会很快得到回报。 在 Amazon，我们利用预测协助制定各个应用领域的业务决策。其中一些应用领域包括预测我们订单履行中心的产品和劳动力需求 (尤其是在“会员日”、“黑色星期五”和“网络星期一”这类重要日期)，或者确保我们可以灵活扩展所有 AWS 客户的 AWS 计算和存储容量。Amazon 的科学家们开发了诸如 DeepAR 这样的算法，以高度准确地解决 Amazon 同等规模的这类实际商业应用的问题。 DeepAR 算法的亮点 与自回归移动平均模型 (ARIMA) 或指数平滑法 (ES) (许多开源和商用软件包中都采用这两种技术进行预测) 等传统预测技术相比，DeepAR 预测算法可以提供更高的预测精度。而且，DeepAR 算法还支持其他功能和场景，特别适合实际应用。 冷启动预测 当我们想要为一个历史数据很少或无任何历史数据的时间序列生成预测时，会出现冷启动情况。这种情况在实践中常有发生，比如在引入新产品或推出新的 AWS 区域服务时。ARIMA 或 ES 等传统方法完全依赖于单个时间序列的历史数据，因此在冷启动情况下通常不太准确。我们以服装类商品 (例如运动鞋) 预测为例。 基于神经网络的算法 (例如 DeepAR) 可以根据其他类型运动鞋首次发布时的销售模式，学习新款运动鞋销售的典型行为。 通过学习训练数据中多个相关时间序列的关系，DeepAR 可以提供比现有算法更精确的预测。 概率预测 […]

在 2017 年 AWS re:Invent 上介绍的 Amazon SageMaker 可以为数据科学和机器学习工作流程提供完全托管服务。Amazon SageMaker 的其中一个重要组成部分是功能强大的 Jupyter Notebook 接口，该接口可用来构建模型。通过将 Notebook 实例连接到 Amazon EMR 上运行的 Apache Spark 集群，可以增强 Amazon SageMaker 的功能。Amazon EMR 是一个用于处理大量数据的托管框架。通过将二者结合，可以基于大量数据构建模型。 Spark 是一个可以快速处理大数据的开源集群计算框架，并且包含适用于机器学习工作负载的 MLlib。为了方便在 Amazon SageMaker Notebook 与 Spark EMR 集群之间建立连接，需要使用 Livy。Livy 是一个开源 REST 接口，无需 Spark 客户端便可从任何位置与 Spark 集群交互。 本博文将向您介绍如何运行 Spark EMR 集群，如何配置必要的安全组以便在 Amazon SageMaker 与 EMR 之间进行通信，以及如何打开 Amazon […]

在由云驱动的所有创新中，人工智能 (AI) 和机器学习 (ML) 领域或许是最令人兴奋的。比如，IDC 预测到 2020 年，AI 系统的市场收益将达到 460 亿美元。这一数字远高于 2017 年的 125 亿美元，并以 54.4% 的复合年增长率 (CAGR) 增长。另外，根据 AngelList 的统计，专注于人工智能的初创公司超过 3000 家。 AI/ML 正被应用到每个能想象到的使用案例中，包括确保我们免遭欺诈，帮助我们更轻松地发现娱乐内容，改善客户体验，以及预测工业设备何时需要维护。或许最重要的是，AI/ML 现在正被应用到医疗保健行业。在该行业中，计算机视觉算法将自动进行影像学诊断，而使用临床数据可以更好地预测患者健康状况，针对各个患者的治疗情况量身定制精准医疗方案，并且 ML 很有可能会发现新的救命药。 尽管人们对 AI 的增长预期持积极态度，但仍有一些人怀疑它是否能够真正超越研究范畴并带来真正的业务价值。但是，在当今 AWS 的基础之上，许多客户已在大规模应用 AI/ML 并解决众多领域中存在的各种问题。 诸如 Arterys 之类的 AWS 客户正在应用计算机视觉进行医学影像诊断。其他客户正在通过以下方式使用 AI/ML：通过 Stitch Fix 获得时尚推荐，通过 Expedia 制定旅行计划，通过 Redfin 进行不动产评估，通过 Zendesk 为客户提供支持，通过 9fin 进行财务文档分析，以及通过 Signal Media 获得商业智能。我们还看到，公司正在使用基于深度学习 […]

今天，Amazon Web Services (AWS)、Facebook 和 Microsoft 很高兴宣布：开放神经网络交换 (ONNX) 格式已可用于生产环境。 ONNX 是深度学习模型的开放标准格式，实现深度学习框架 (如 Apache MXNet、Caffe2、Microsoft Cognitive 工具包和 PyTorch) 之间的互操作性。ONNX 1.0 使用户能够在框架之间移动深度学习模型，从而使其更容易投入生产。例如，开发人员可以使用 PyTorch 等框架构建复杂的计算机视觉模型，并使用 Microsoft Cognitive 工具包或 Apache MXNet 运行它们以进行推理。 自 9 月份 ONNX 首次发布以来，社区支持和参与的增长和发展势头都十分喜人。包括高通、华为和英特尔在内的众多硬件合作伙伴宣布，他们的硬件平台支持 ONNX 格式，使用户更容易在不同的硬件平台上运行模型。我们非常感谢那些为新功能提供代码和支持的贡献者社区。 我们将继续与 ONNX 合作伙伴和社区合作，共同发展 ONNX，确保开发人员获得最新的研究成果，以便将先进的模型集成到生产应用程序中。 相关公告 Facebook – 发布了 ONNX V1 Microsoft – 宣布推出 ONNX 1.0 – 适用于 AI 的开放生态系统 作者简介 […]

本周早些时候，AWS 宣布推出适用于 Apache MXNet 的模型服务器，这是构建于 Apache MXNet 上的开源组件，用于处理深度学习模型。Apache MXNet 是一种可快速进行训练和推理的可扩展框架，具有易于使用、简明扼要的机器学习 API。工程师们现在可以利用适用于 Apache MXNet 的模型服务器，轻松、快速地对 MXNet 模型进行大规模处理。 什么是适用于 Apache MXNet 的模型服务器？ 适用于 Apache MXNet 的模型服务器 (MMS) 是一种开源组件，旨在简化深度学习推理模型的大规模部署任务。部署推理模型并不是无关紧要的任务。它需要收集各种模型构件、设置处理堆栈、初始化并配置深度学习框架、公开终端节点、发送实时指标，以及运行自定义预处理和后处理代码，而这只是众多工程任务中的几项。虽然每项任务都不是特别复杂，但与部署模型相关的所有工作足以使部署过程变得缓慢而繁琐。 MMS 是 AWS 贡献的一款适用于 Apache MXNet 的开源工程工具集，可以极大地简化部署深度学习模型的过程。如果您使用 MMS 部署模型，可以使用以下主要功能： 将所有模型构件打包并导出为单一“模型存档”文件 (其中封装了处理 MXNet 模型的所有必要内容) 的工具作业。 自动设置处理堆栈，其中包括 HTTP 推理终端节点、基于 MXNet 的引擎，所有组件均根据处理的具体模型进行自动配置。 预配置的 Docker 镜像，利用 NGINX、MXNet 和 MMS 进行设置，以实现可扩展的模型处理。 能够自定义推理执行管道中的每个步骤，从模型初始化到预处理和推理，再到对模型输出的后处理。 用于监控推理服务和终端节点的实时运行指标，涵盖延迟、资源利用率和错误。 支持 […]

机器学习是许多初创公司和企业的关键技术。尽管经历了数十年的投入和改进，开发、训练和维护机器学习模型的过程仍然繁琐且欠缺通用性。将机器学习技术集成到应用程序中的过程往往需要一个专家团队进行为期数月的调整和修补，而且设置还不一致。企业和开发人员需要一个端到端、开发到生产的机器学习管道。 Amazon SageMaker 简介 Amazon SageMaker 是一种完全托管的端到端机器学习服务，数据科研人员、开发人员和机器学习专家可以快速、大规模地构建、训练和托管机器学习模型。这极大地推进了您所有的机器学习工作，让您能够将机器学习技术迅速融入生产应用程序。 Amazon SageMaker 包含三个主要组件： 编写：零设置托管式 Jupyter 笔记本 IDE，可进行数据探索、清理和预处理。您可以在一般实例类型或 GPU 驱动实例上运行上述功能。 模型训练：分布式模型构建、训练和验证服务。您可以使用内置的通用监督式和非监督式学习算法和框架，也可以借助 Docker 容器创建自己的训练。训练可以扩展到数十个实例以支持更快的模型构建。从 S3 读取训练数据，并将模型构件存放到 S3。模型构件是数据相关的模型参数，而不是允许您从模型进行推理的代码。这种问题隔离策略简化了将经过 Amazon SageMaker 培训的模型部署到物联网设备等其他平台的过程。 模型托管：一种模型托管服务，可通过 HTTPS 终端节点调用模型获取实时推理。这些终端节点能够扩展以支持流量，允许您同时对多个模型进行 A/B 测试。同样，您可以使用内置软件开发工具包构建这些终端节点，也可以利用 Docker 镜像提供自定义配置。 这些组件中的每一个都可以独立使用，这使得使用 Amazon SageMaker 填补现有管道中的空白变得极其简单。也就是说，在端到端管道中使用此服务时，您可以获得一些非常强大的功能。 使用 SageMaker 我打算构建、训练和部署一个基于 Apache MXNet 的图像分类器。我将使用 Gluon 语言、CIFAR-10 数据集和 ResNet V2 模型架构。 使用 Jupyter 笔记本编写 创建笔记本实例时，它会启动一个 ML 计算实例，其中包含深度学习应用中常见的 Anaconda […]

本文是特邀文章，由 Whooshkaa 的创始人兼 CEO Robert Loewenthal 撰写。 Whooshkaa 总部位于澳大利亚，提供创新的点播式音频播客平台，帮助出版商和广告商赢得听众。我们一直在尝试新的产品和方法，并将二者结合起来，为我们的客户开创全新的解决方案。 Amazon Polly 文本转语音 (TTS) 功能的采用就是极好的例证。很多顶级出版商、体育机构，以及澳大利亚最大的电信公司已在使用 Amazon Polly 来扩充其既有的发行方式。 这些传统信息提供商发现，客户现在不只需要阅读信息，还希望能够收听信息。借助 Amazon Polly TTS，Whooshkaa 让信息提供商能够用 48 种语音和 24 种语言向听众发布信息。 今年早些时候，Amazon Polly 为澳大利亚的主要全国性报纸《The Australian》提供语音版本。订阅者在驾车、锻炼或其他不方便阅读的情况下可以收听 Amazon Polly 朗读的新闻报道、食谱或体育赛事比分。 通过 Amazon Polly，Whooshkaa 的优秀合作伙伴可以方便地选择任何新闻报道，在几秒之内将文本转换为播客内容。我们还提供一些工具，可以合并多个报道，并通过更改口音、音调、速度和音量对声音进行自定义。 Whooshkaa 有庞大的发布网络，也就是说，听众可以选择多种方式来收听内容。最直接的选择是听众常用的播客应用程序。不过，因为 Whooshkaa 与 Facebook 存在独特的合作关系，我们的播客可以通过 Facebook 的音频播放器播放。我们的 Web 播放器可进行自定义，在 Twitter 上也受支持，实际上它可以嵌入任何网站。 我们相信，当这项技术成熟时，出版商能够以任何语言在世界上任何地方提供其新闻报道。新闻报道可以根据听众的偏好和需求进行自定义。 我们还与澳大利亚最大的电信公司 Telstra 和澳大利亚全国橄榄球联赛合作，通过任何联网的智能播音设备发布用户最爱球队的现场比分。用户可以直接向其设备询问当前比分，设备能够立即播报结果。 我们的开发人员 Christian […]

AWS DeepLens 提供了极好的机会来学习新技术，例如深度学习和物联网 (IoT)，以及构建可以解决实际问题的创新系统。该设备和服务附带有一组预定义的项目，使得从头开始运行非常简单。它设计作为开放平台，使得新手和有经验的开发人员都能构建 (和分享) 新的激动人心的项目。 在本博客文章中，您将逐步完成构建自己项目的过程，包括以下步骤： 训练深度学习模型 (使用 Amazon SageMaker) 优化经过训练的模型以在 AWS DeepLens 边缘设备上运行 开发 AWS Lambda 函数以加载模型并用于在视频流上运行推理 使用 AWS Greengrass 将 AWS Lambda 函数部署到 AWS DeepLens 设备 将边缘 AWS Lambda 函数传递到云中，用于发送命令和接收推理输出 营利 训练深度学习模型 (使用 Amazon SageMaker) Amazon SageMaker 是面向繁重的数据科学的另一项新服务。它汲取了 Amazon 数据科学家在 Amazon.com 众多业务领域的多年经验，从建议引擎到 Alexa、Amazon Go、Amazon Robotics 乃至其他无穷的基于机器学习的系统。 虽然本篇博客帖子所涵盖的内容极为有趣，不过设计和构建良好机器学习模型的完整过程远不止这些。实际上，通过将深度学习模型部署到 DeepLens 设备，然后传输回来并从输出中获益，一旦通过这个流程实现生产，您就会发现自己会有越来越多的时间构建模型，来解决真实世界的新问题。 对于机器学习新手以及数据科学专家而言，当您在 Amazon SageMaker […]

AWS DeepLens 是一个带有摄像头的支持深度学习的开发人员工具包。它使您能够通过实操计算机视觉教程和预建模型来开发机器学习技能并进行扩展。预构建模型的示例包括：用于识别和检测房间里的不同对象 (如电视显示器、人和瓶子) 的对象检测以及用于识别不同类型的动作 (如刷牙、涂口红、打鼓、拉小提琴和打篮球) 的动作识别。 AWS DeepLens 可让您从设备的摄像头显示流以及在 IoT 控制台和本地设备上显示模型的输出。有关了解有关如何执行此操作的更多信息，您可以参阅文档。在本博客文章中，我们将讨论如何通过 HTML 页面上的 AWS DeepLens 自定义和显示项目输出。 我们将使用： Amazon Cognito，旨在使 HTML 页面能够通过 IoT WebSockets 访问 AWS DeepLens MQTT 消息 AWS IoT，旨在处理数据订阅和发布 Amazon S3，旨在存储用于显示输出的 HTML 文件 您可以使用 AWS CLI 或 AWS 管理控制台来自定义 AWS DeepLens 项目输出。使用 CLI 和控制台的步骤如下所示。 先决条件 要执行以下步骤以自定义 AWS DeepLens 输出，您需要 拥有一台 AWS DeepLens 设备 […]