亚马逊AWS官方博客

推出适用于 Apache MXNet 的模型服务器

本周早些时候,AWS 宣布推出适用于 Apache MXNet 的模型服务器,这是构建于 Apache MXNet 上的开源组件,用于处理深度学习模型。Apache MXNet 是一种可快速进行训练和推理的可扩展框架,具有易于使用、简明扼要的机器学习 API。工程师们现在可以利用适用于 Apache MXNet 的模型服务器,轻松、快速地对 MXNet 模型进行大规模处理。 什么是适用于 Apache MXNet 的模型服务器? 适用于 Apache MXNet 的模型服务器 (MMS) 是一种开源组件,旨在简化深度学习推理模型的大规模部署任务。部署推理模型并不是无关紧要的任务。它需要收集各种模型构件、设置处理堆栈、初始化并配置深度学习框架、公开终端节点、发送实时指标,以及运行自定义预处理和后处理代码,而这只是众多工程任务中的几项。虽然每项任务都不是特别复杂,但与部署模型相关的所有工作足以使部署过程变得缓慢而繁琐。 MMS 是 AWS 贡献的一款适用于 Apache MXNet 的开源工程工具集,可以极大地简化部署深度学习模型的过程。如果您使用 MMS 部署模型,可以使用以下主要功能: 将所有模型构件打包并导出为单一“模型存档”文件 (其中封装了处理 MXNet 模型的所有必要内容) 的工具作业。 自动设置处理堆栈,其中包括 HTTP 推理终端节点、基于 MXNet 的引擎,所有组件均根据处理的具体模型进行自动配置。 预配置的 Docker 镜像,利用 NGINX、MXNet 和 MMS 进行设置,以实现可扩展的模型处理。 能够自定义推理执行管道中的每个步骤,从模型初始化到预处理和推理,再到对模型输出的后处理。 用于监控推理服务和终端节点的实时运行指标,涵盖延迟、资源利用率和错误。 支持 […]

Read More

re:Invent 回顾—通过 Windows 促进企业创新的公告

我的同事 Sandy Carter 上周在 AWS re:Invent 大会上发表了“企业创新报告”(Enterprise Innovation State of the Union) 演讲。她写了下面这篇客座文章,回顾她在舞台上发布的消息。 — Jeff; “我希望我的公司进行创新,但我不确信我们能否成功执行。”在我职业生涯的不同阶段,听到过太多次高管人员流露出的这种恐惧。事实上,Price Waterhouse Coopers 公司发布的最新研究结果表明,虽然 93% 的高管依靠创新来推动增长,但对超过一半的人而言,将创新理念以可扩展的方式迅速推向市场仍是一项挑战。 许多客户都在为如何推动企业创新而苦苦挣扎,我很高兴上周能与一些成功打破这种模式,推动企业创新的高管在 AWS re:Invent 上同台演讲。在此,我要特别感谢 Johnson & Johnson 的 Parag Karnik、Hess Corporation 的 Bill Rothe、Just Eat 的 Dave Williams 以及 Pitney Bowes 的 Olga Lagunova 分享他们关于创新、创意和坚定执行的故事。 在过去一周 AWS 的许多新公告中,让我感到特别兴奋的是我在 re:Invent 上宣布的以下新发布的 AWS 产品和计划,它们可以推动我们企业客户的创新: AI:EC2 Windows […]

Read More

Amazon SageMaker – 加快机器学习进程

机器学习是许多初创公司和企业的关键技术。尽管经历了数十年的投入和改进,开发、训练和维护机器学习模型的过程仍然繁琐且欠缺通用性。将机器学习技术集成到应用程序中的过程往往需要一个专家团队进行为期数月的调整和修补,而且设置还不一致。企业和开发人员需要一个端到端、开发到生产的机器学习管道。 Amazon SageMaker 简介 Amazon SageMaker 是一种完全托管的端到端机器学习服务,数据科研人员、开发人员和机器学习专家可以快速、大规模地构建、训练和托管机器学习模型。这极大地推进了您所有的机器学习工作,让您能够将机器学习技术迅速融入生产应用程序。 Amazon SageMaker 包含三个主要组件: 编写:零设置托管式 Jupyter 笔记本 IDE,可进行数据探索、清理和预处理。您可以在一般实例类型或 GPU 驱动实例上运行上述功能。 模型训练:分布式模型构建、训练和验证服务。您可以使用内置的通用监督式和非监督式学习算法和框架,也可以借助 Docker 容器创建自己的训练。训练可以扩展到数十个实例以支持更快的模型构建。从 S3 读取训练数据,并将模型构件存放到 S3。模型构件是数据相关的模型参数,而不是允许您从模型进行推理的代码。这种问题隔离策略简化了将经过 Amazon SageMaker 培训的模型部署到物联网设备等其他平台的过程。 模型托管:一种模型托管服务,可通过 HTTPS 终端节点调用模型获取实时推理。这些终端节点能够扩展以支持流量,允许您同时对多个模型进行 A/B 测试。同样,您可以使用内置软件开发工具包构建这些终端节点,也可以利用 Docker 镜像提供自定义配置。 这些组件中的每一个都可以独立使用,这使得使用 Amazon SageMaker 填补现有管道中的空白变得极其简单。也就是说,在端到端管道中使用此服务时,您可以获得一些非常强大的功能。 使用 SageMaker 我打算构建、训练和部署一个基于 Apache MXNet 的图像分类器。我将使用 Gluon 语言、CIFAR-10 数据集和 ResNet V2 模型架构。 使用 Jupyter 笔记本编写 创建笔记本实例时,它会启动一个 ML 计算实例,其中包含深度学习应用中常见的 Anaconda […]

Read More

Amazon Rekognition Video 发布:基于深度学习技术的视频识别功能

在去年这个时候举办的 re:Invent 2016 大会上,Jeff 宣布推出 Amazon Rekognition 服务。我非常高兴能参与此项服务的开发工作,以构建图像识别解决方案。您可能已经知道,Amazon Rekognition Image 是一种利用深度学习技术提供可扩展的图像识别和分析功能的云服务。Amazon Rekognition Image 让您能够在应用程序和系统中构建和集成对象及场景检测、实时面部识别、名人识别、图片审阅和文本识别功能。 Amazon Rekognition Image 服务使用深度学习神经网络模型创建,基于与 Prime Photos 相同的技术 (此项技术使 Prime Photos 具备了每天分析数十亿张图像的强大能力)。发布之初,Rekognition 的关注点在于提供可扩展、自动化的图像分析、搜索和分类功能。今天,我很高兴地向大家宣布,此服务增加了一些新功能。 你好,Amazon Rekognition Video 大家好,这是我的新朋友,Amazon Rekognition Video。对,你们猜得没错,我一开始写的是《疤面煞星》里的台词:“来跟我的小朋友问个好”。但我最终没有这样写,而是走了一条“新路”,所以大家必须给我的创新精神点个赞。好了,言归正传,我们来讨论一下这项令人兴奋的新人工智能服务功能 – Amazon Rekognition Video。 Amazon Rekognition Video 是一种新的视频分析服务功能,可为 S3 存储的视频以及实时视频流提供可扩展的计算机视觉分析能力。借助 Rekognition video,您可以准确检测、跟踪、识别、提取和审阅视频中的数千个对象、面部和内容。对于这项新功能,我认为更棒的是,它不仅能够提供有关视频中对象的准确信息,而且还是同类中第一个能够使用完整的视频内影像、时间和动作上下文执行活动检测和人员跟踪的视频分析服务。因此,借助其基于深度学习的功能,您可获得有关视频中正在执行什么活动的更完整的见解。例如,此服务功能可以识别视频中的人、车、树,以及推断出视频中的男子正在跑向汽车。这很酷,对吧!您可以想象一下,这项功能可为客户带来多么广阔的应用场景。 使用异步 Amazon Rekognition Video API 进行视频分析的过程如下: 对 .mp4 或 .mov 视频调用 Rekognition Video Start […]

Read More

AWS DeepLens – 通过新式摄像机获得深度学习实践经验

我以前说过,“活到老,学到老”是我的人生信条之一。技术变革的速度越来越快,您也需要加快学习速度,迅速掌握全新技能。 在我职业生涯的大部分时间里,人工智能一直是一个学术课题,实际应用和实际部署始终是“若即若离”。但随着机器学习 (包括计算机视觉和深度学习) 实际应用的不断增多,可以肯定地说,现在是获得实践经验和掌握新技能的时候了!此外,物联网和无服务器计算也备受瞩目。虽然这两者的提出时间不算早,但它们必将在未来占据一席之地,是您最该掌握的众多技能之一。 新的 AWS DeepLens 今天我将跟大家介绍一下 AWS DeepLens – 一种直接在设备上运行深度学习模型的新式视频摄像机。您可以使用它构建炫酷的应用程序,同时获得人工智能、物联网和无服务器计算方面的实践经验。AWS DeepLens 结合了先进的硬件和精密的机载软件,让您能够在应用程序中使用 AWS Greengrass、AWS Lambda、其他 AWS AI 及基础设施服务。 我们先从硬件谈起。此设备包含众多强大功能。它配备一个可拍摄 1080P 视频的 400 万像素摄像头,以及一个 2D 麦克风阵列。其搭载的 Intel Atom® 处理器提供超过 100 GLOPS 的计算能力,每秒足以通过机载深度学习模型对数十帧传入视频进行运算。DeepLens 具有完善的连接能力,提供双频 Wi-Fi、USB 及微型 HDMI 端口。最后,这部小巧的设备具有 8 GB 内存,能够运行您的预训练模型和代码,提供无与伦比的强大能力。 在软件方面,AWS DeepLens 运行的是 Ubuntu 16.04,预装 Greengrass Core (Lambda 运行时、消息管理器等)。它还提供专为此设备优化的 MXNet 版本,并具备使用 TensorFlow、Caffe2 等其他框架的灵活性。Intel® clDNN […]

Read More

S3 Select 和 Glacier Select – 检索对象子集

Amazon Simple Storage Service (S3) 为每个行业的市场领导者使用的数以百万计的应用程序存储数据。其中许多客户还使用 Amazon Glacier 作为安全、持久且成本极低的存档存储。借助 S3,我可以存储任意数量的对象,单一对象最大可达 5 TB。一直以来,对象存储中的数据都是作为整体访问的,也就是说,当您查询一个大小为 5 GB 的对象时,您会获得全部 5 GB 的数据。这是对象存储的工作方式所决定的。今天,我们将宣布 S3 和 Glacier 的两个新功能挑战这一模式 – 它们让您能够使用简单的 SQL 表达式从这些对象中只提取需要的字节。这可从根本上增强访问 S3 或 Glacier 中对象的每一个应用程序。 S3 Select S3 Select (随预览版发布) 让应用程序能够使用简单的 SQL 表达式只检索对象的数据子集。使用 S3 Select 仅检索应用程序所需的数据可大幅提升性能 – 在许多情况下,您可获得多达 400% 的性能提升。 例如,假设您是一家大型零售商的开发人员,您需要分析某个店铺的每周销售数据,但所有 200 家店铺的数据每天都保存在一个新的经过 GZIP 压缩的 CSV 文件中。如果没有 S3 Select,您需要下载、解压缩并处理整个 CSV […]

Read More

适用于 Kubernetes 的 Amazon Elastic Container Service

关于容器,我的同事 Deepak Singh 可以细细道来! — Jeff; 我们有很多 AWS 客户在 AWS 上运行 Kubernetes。实际上,根据 Cloud Native Computing Foundation 的数据,63% 的 Kubernetes 工作负载在 AWS 上运行。尽管 AWS 常用来运行 Kubernetes,客户还是需要进行大量手动配置才能管理其 Kubernetes 群集。您必须安装和运行 Kubernetes 主节点,并配置 Kubernetes 工作节点群集。为了使 Kubernetes 群集实现高可用性,必须跨不同可用区运行至少三个 Kubernetes 主节点。每一个主节点都需要进行配置才能相互通信、可靠地共享信息、均衡负载,在某个主节点发生故障时,才能将故障转移到其他主节点。全部设置完毕并开始运行后,您还必须负责主节点和工作节点软件的升级和修补。这都需要大量的操作知识,工作量巨大,客户要求我们把这一切进行简化。 Amazon EKS 简介 适用于 Kubernetes 的 Amazon Elastic Container Service (Amazon EKS) 是一种完全托管服务,借助该服务,您无需成为管理 Kubernetes 群集的专家,就可以在 AWS 上方便地运行 Kubernetes。我们认为开发人员会很喜欢这项服务的几个特点。首先,Amazon EKS 运行开源 […]

Read More

AWS Fargate 简介 – 运行容器无需管理基础设施

容器是开发人员用来开发、封装和部署其应用程序的一种强大方法。AWS 每周启动超过十万 ECS 群集和数亿新容器。这相当于从 2016 年以来实现了超过 400% 的客户增长。Amazon ECS 和 Kubernetes 这样的容器编排解决方案让部署、管理和扩展这些容器工作负载变得更简单,从而增强敏捷性。但是,如果使用这些容器管理解决方案中的任何一个,您都仍然要负责底层基础设施的可用性、容量和维护。AWS 从中发现机会,致力于消除部分重复性的繁重工作。我们希望您能充分利用容器提供的速度、敏捷性和不变性,集中精力构建应用程序,而不必管理基础设施。 AWS Fargate AWS Fargate 是一种在 AWS 上部署容器的简单方法。简单地说,Fargate 像 EC2,只是它提供的是容器而不是虚拟机。通过这种技术,您可将容器用作基础计算基元,而不必管理基础实例。您只需构建容器映像,指定 CPU 和内存要求,定义联网和 IAM 策略,以及启动。Fargate 提供灵活的配置选项,可以极为一致地满足应用程序需求,计费可精确到秒。 最大的好处?您仍然可以使用所有相同的 ECS 基元、API 和 AWS 集成。Fargate 提供与 Amazon Virtual Private Cloud、AWS Identity and Access Management (IAM)、Amazon CloudWatch 和负载均衡器的原生集成。Fargate 任务使用 AWSVPC 联网模式,在 VPC 中配置弹性网络接口 (ENI) 与资源安全通信。通过 AWS 命令行界面 (CLI) […]

Read More

Amazon DynamoDB 更新 – 全局表和按需备份

各行各业的 AWS 客户都在使用 Amazon DynamoDB 存储关键任务数据。金融服务、商业、广告技术、物联网和游戏应用程序 (仅举几例) 每秒向包含数百 TB 数据和数万亿项目的表发起数百万个请求,依靠 DynamoDB 在十毫秒内返回结果。 今天,我们介绍两个强大且必将受到欢迎的新功能: 全局表 – 现在您可以创建跨两个或更多 AWS 区域自动复制的表,可完全支持只需几次点击即可实现的多主表写入。这让您能够为全球用户群构建快速、大规模扩展的应用程序,而无需管理复制过程。 按需备份 – 现在您可以一键创建 DynamoDB 表的完整备份,并且对性能或可用性没有任何影响。您的应用程序保持在线状态全速运行。备份适用于长期保留和存档,可帮助您满足法规要求。 全局表 DynamoDB 已将您的表复制到三个可用区,为您提供持久、高度可用的存储。现在,您可以使用全局表在两个或更多 AWS 区域间复制表 – 只需几次点击操作即可完成设置。您将获得极高的读写性能,并可进一步扩展,满足要求最苛刻的全球应用程序的需求。 您无需对现有代码进行任何更改,只需将写入请求和最终一致性读取请求发送到任意指定区域的 DynamoDB 终端节点即可 (与强一致性读取关联的写入应共享一个公共终端节点)。DynamoDB 在后台实施多主表写入,确保以对特定项目的最后一次写入为准。使用全局表时,每个项目将包含一个时间戳属性,用于表示最近一次写入的时间。更新通过 DynamoDB Streams 异步传播到其他区域,通常在一秒内完成 (可以使用新的 ReplicationLatency 和 PendingReplicationCount 指标跟踪这一过程)。 入门很简单。按照常规方式创建表,然后一键添加到其他区域的复制。必须从空表开始,且所有表都具有相同的名称和键配置 (哈希和可选排序键)。所有表还应共享一组一致的 Auto Scaling、TTL、本地二级索引、全局二级索引、预配置吞吐量设置和 IAM 策略。为方便起见,系统为新全局表自动启用 Auto Scaling。 如果不使用 DynamoDB Auto Scaling,您应该预配置充足的读取容量,以应对本地读取;预配置充足的写入容量,以容纳组中所有表的写入;并为源自本地区域的每个应用程序写入预配置额外的系统 写入。系统写入用于支持“以最后一次写入为准”模型。 下面,我们创建一个跨三个区域的全局表。先按照常规方式创建表,然后单击 […]

Read More

开发进行时 – Amazon Aurora Serverless

对于 Amazon Aurora,您可能已有所了解。Aurora 是一种完全托管、可自动扩展到 64 TB 的数据库存储,提供与 MySQL 兼容或与 PostgreSQL 兼容的版本。创建 Aurora 数据库实例时,您可以选择所需的实例大小,并可以选择使用只读副本提高读取吞吐量。如果处理要求或查询率发生变化,您可以选择修改实例大小或根据需要更改只读副本的数目。此模型在工作负载可预测、请求速率和处理要求较高的环境中运行极佳。 在某些情况下,工作负载可能是间歇性和/或不可预知的,并且每天或每周可能有仅持续数分钟或数小时的请求高峰。限时抢购、偶发或一次性事件、在线游戏、报告工作负载 (每小时或每天)、开发/测试和新上线应用程序都具有上述特点。要分配恰好够用的容量很难;按固定价格付费又不够明智。 Amazon Aurora Serverless 发布 我们于今日推出 Amazon Aurora Serverless 预览版 (立即注册)。此新配置专为多变的工作负载设计,让您能够以秒为单位为所用的数据库资源付费。 此无服务器模型构建在处理和存储清晰分离的基础上,处理和存储清晰分离是 Aurora 架构的一部分 (有关更多信息,请参阅 Design Considerations for High-Throughput Cloud-Native Relational Databases)。您不必预先选择数据库实例大小,而是创建一个终端节点,根据需要设置所需的最小和最大容量,然后向此终端节点发出查询。终端节点是一个简单代理,它将查询路由到快速扩展的数据库资源队列。这样,即使在后台执行扩展操作,您的连接也能保持不变。扩展操作极为迅速,新资源可在 5 秒内上线。下图说明了这些功能是如何结合在一起的: 存储和处理是分开的,因此处理容量可以缩减至零 (此时,您只需支付存储费用)。我认为这一点很棒,它有可能催生随开即用的新型瞬时应用程序。基于可随时启用以处理请求的“热”资源池进行扩展 (可在数秒内完成)。新增资源基于现有的已缓存和已缓冲内容,可实现全速运行。这让您能够毫不费力地将现有 Aurora 数据库转换为无服务器模型。 基于 Aurora 容量单位计费,每个单位代表计算能力与内存的组合。以 1 秒为增量进行计量,每个新增资源最低计 1 分钟。 敬请关注 2018 年初,我将向大家介绍有关 Amazon Aurora […]

Read More