亚马逊AWS官方博客

Amazon SageMaker – 加快机器学习进程

机器学习是许多初创公司和企业的关键技术。尽管经历了数十年的投入和改进,开发、训练和维护机器学习模型的过程仍然繁琐且欠缺通用性。将机器学习技术集成到应用程序中的过程往往需要一个专家团队进行为期数月的调整和修补,而且设置还不一致。企业和开发人员需要一个端到端、开发到生产的机器学习管道。 Amazon SageMaker 简介 Amazon SageMaker 是一种完全托管的端到端机器学习服务,数据科研人员、开发人员和机器学习专家可以快速、大规模地构建、训练和托管机器学习模型。这极大地推进了您所有的机器学习工作,让您能够将机器学习技术迅速融入生产应用程序。 Amazon SageMaker 包含三个主要组件: 编写:零设置托管式 Jupyter 笔记本 IDE,可进行数据探索、清理和预处理。您可以在一般实例类型或 GPU 驱动实例上运行上述功能。 模型训练:分布式模型构建、训练和验证服务。您可以使用内置的通用监督式和非监督式学习算法和框架,也可以借助 Docker 容器创建自己的训练。训练可以扩展到数十个实例以支持更快的模型构建。从 S3 读取训练数据,并将模型构件存放到 S3。模型构件是数据相关的模型参数,而不是允许您从模型进行推理的代码。这种问题隔离策略简化了将经过 Amazon SageMaker 培训的模型部署到物联网设备等其他平台的过程。 模型托管:一种模型托管服务,可通过 HTTPS 终端节点调用模型获取实时推理。这些终端节点能够扩展以支持流量,允许您同时对多个模型进行 A/B 测试。同样,您可以使用内置软件开发工具包构建这些终端节点,也可以利用 Docker 镜像提供自定义配置。 这些组件中的每一个都可以独立使用,这使得使用 Amazon SageMaker 填补现有管道中的空白变得极其简单。也就是说,在端到端管道中使用此服务时,您可以获得一些非常强大的功能。 使用 SageMaker 我打算构建、训练和部署一个基于 Apache MXNet 的图像分类器。我将使用 Gluon 语言、CIFAR-10 数据集和 ResNet V2 模型架构。 使用 Jupyter 笔记本编写 创建笔记本实例时,它会启动一个 ML 计算实例,其中包含深度学习应用中常见的 Anaconda […]

Read More

Amazon Rekognition Video 发布:基于深度学习技术的视频识别功能

在去年这个时候举办的 re:Invent 2016 大会上,Jeff 宣布推出 Amazon Rekognition 服务。我非常高兴能参与此项服务的开发工作,以构建图像识别解决方案。您可能已经知道,Amazon Rekognition Image 是一种利用深度学习技术提供可扩展的图像识别和分析功能的云服务。Amazon Rekognition Image 让您能够在应用程序和系统中构建和集成对象及场景检测、实时面部识别、名人识别、图片审阅和文本识别功能。 Amazon Rekognition Image 服务使用深度学习神经网络模型创建,基于与 Prime Photos 相同的技术 (此项技术使 Prime Photos 具备了每天分析数十亿张图像的强大能力)。发布之初,Rekognition 的关注点在于提供可扩展、自动化的图像分析、搜索和分类功能。今天,我很高兴地向大家宣布,此服务增加了一些新功能。 你好,Amazon Rekognition Video 大家好,这是我的新朋友,Amazon Rekognition Video。对,你们猜得没错,我一开始写的是《疤面煞星》里的台词:“来跟我的小朋友问个好”。但我最终没有这样写,而是走了一条“新路”,所以大家必须给我的创新精神点个赞。好了,言归正传,我们来讨论一下这项令人兴奋的新人工智能服务功能 – Amazon Rekognition Video。 Amazon Rekognition Video 是一种新的视频分析服务功能,可为 S3 存储的视频以及实时视频流提供可扩展的计算机视觉分析能力。借助 Rekognition video,您可以准确检测、跟踪、识别、提取和审阅视频中的数千个对象、面部和内容。对于这项新功能,我认为更棒的是,它不仅能够提供有关视频中对象的准确信息,而且还是同类中第一个能够使用完整的视频内影像、时间和动作上下文执行活动检测和人员跟踪的视频分析服务。因此,借助其基于深度学习的功能,您可获得有关视频中正在执行什么活动的更完整的见解。例如,此服务功能可以识别视频中的人、车、树,以及推断出视频中的男子正在跑向汽车。这很酷,对吧!您可以想象一下,这项功能可为客户带来多么广阔的应用场景。 使用异步 Amazon Rekognition Video API 进行视频分析的过程如下: 对 .mp4 或 .mov 视频调用 Rekognition Video Start […]

Read More

AWS DeepLens – 通过新式摄像机获得深度学习实践经验

我以前说过,“活到老,学到老”是我的人生信条之一。技术变革的速度越来越快,您也需要加快学习速度,迅速掌握全新技能。 在我职业生涯的大部分时间里,人工智能一直是一个学术课题,实际应用和实际部署始终是“若即若离”。但随着机器学习 (包括计算机视觉和深度学习) 实际应用的不断增多,可以肯定地说,现在是获得实践经验和掌握新技能的时候了!此外,物联网和无服务器计算也备受瞩目。虽然这两者的提出时间不算早,但它们必将在未来占据一席之地,是您最该掌握的众多技能之一。 新的 AWS DeepLens 今天我将跟大家介绍一下 AWS DeepLens – 一种直接在设备上运行深度学习模型的新式视频摄像机。您可以使用它构建炫酷的应用程序,同时获得人工智能、物联网和无服务器计算方面的实践经验。AWS DeepLens 结合了先进的硬件和精密的机载软件,让您能够在应用程序中使用 AWS Greengrass、AWS Lambda、其他 AWS AI 及基础设施服务。 我们先从硬件谈起。此设备包含众多强大功能。它配备一个可拍摄 1080P 视频的 400 万像素摄像头,以及一个 2D 麦克风阵列。其搭载的 Intel Atom® 处理器提供超过 100 GLOPS 的计算能力,每秒足以通过机载深度学习模型对数十帧传入视频进行运算。DeepLens 具有完善的连接能力,提供双频 Wi-Fi、USB 及微型 HDMI 端口。最后,这部小巧的设备具有 8 GB 内存,能够运行您的预训练模型和代码,提供无与伦比的强大能力。 在软件方面,AWS DeepLens 运行的是 Ubuntu 16.04,预装 Greengrass Core (Lambda 运行时、消息管理器等)。它还提供专为此设备优化的 MXNet 版本,并具备使用 TensorFlow、Caffe2 等其他框架的灵活性。Intel® clDNN […]

Read More

S3 Select 和 Glacier Select – 检索对象子集

Amazon Simple Storage Service (S3) 为每个行业的市场领导者使用的数以百万计的应用程序存储数据。其中许多客户还使用 Amazon Glacier 作为安全、持久且成本极低的存档存储。借助 S3,我可以存储任意数量的对象,单一对象最大可达 5 TB。一直以来,对象存储中的数据都是作为整体访问的,也就是说,当您查询一个大小为 5 GB 的对象时,您会获得全部 5 GB 的数据。这是对象存储的工作方式所决定的。今天,我们将宣布 S3 和 Glacier 的两个新功能挑战这一模式 – 它们让您能够使用简单的 SQL 表达式从这些对象中只提取需要的字节。这可从根本上增强访问 S3 或 Glacier 中对象的每一个应用程序。 S3 Select S3 Select (随预览版发布) 让应用程序能够使用简单的 SQL 表达式只检索对象的数据子集。使用 S3 Select 仅检索应用程序所需的数据可大幅提升性能 – 在许多情况下,您可获得多达 400% 的性能提升。 例如,假设您是一家大型零售商的开发人员,您需要分析某个店铺的每周销售数据,但所有 200 家店铺的数据每天都保存在一个新的经过 GZIP 压缩的 CSV 文件中。如果没有 S3 Select,您需要下载、解压缩并处理整个 CSV […]

Read More

适用于 Kubernetes 的 Amazon Elastic Container Service

关于容器,我的同事 Deepak Singh 可以细细道来! — Jeff; 我们有很多 AWS 客户在 AWS 上运行 Kubernetes。实际上,根据 Cloud Native Computing Foundation 的数据,63% 的 Kubernetes 工作负载在 AWS 上运行。尽管 AWS 常用来运行 Kubernetes,客户还是需要进行大量手动配置才能管理其 Kubernetes 群集。您必须安装和运行 Kubernetes 主节点,并配置 Kubernetes 工作节点群集。为了使 Kubernetes 群集实现高可用性,必须跨不同可用区运行至少三个 Kubernetes 主节点。每一个主节点都需要进行配置才能相互通信、可靠地共享信息、均衡负载,在某个主节点发生故障时,才能将故障转移到其他主节点。全部设置完毕并开始运行后,您还必须负责主节点和工作节点软件的升级和修补。这都需要大量的操作知识,工作量巨大,客户要求我们把这一切进行简化。 Amazon EKS 简介 适用于 Kubernetes 的 Amazon Elastic Container Service (Amazon EKS) 是一种完全托管服务,借助该服务,您无需成为管理 Kubernetes 群集的专家,就可以在 AWS 上方便地运行 Kubernetes。我们认为开发人员会很喜欢这项服务的几个特点。首先,Amazon EKS 运行开源 […]

Read More

AWS Fargate 简介 – 运行容器无需管理基础设施

容器是开发人员用来开发、封装和部署其应用程序的一种强大方法。AWS 每周启动超过十万 ECS 群集和数亿新容器。这相当于从 2016 年以来实现了超过 400% 的客户增长。Amazon ECS 和 Kubernetes 这样的容器编排解决方案让部署、管理和扩展这些容器工作负载变得更简单,从而增强敏捷性。但是,如果使用这些容器管理解决方案中的任何一个,您都仍然要负责底层基础设施的可用性、容量和维护。AWS 从中发现机会,致力于消除部分重复性的繁重工作。我们希望您能充分利用容器提供的速度、敏捷性和不变性,集中精力构建应用程序,而不必管理基础设施。 AWS Fargate AWS Fargate 是一种在 AWS 上部署容器的简单方法。简单地说,Fargate 像 EC2,只是它提供的是容器而不是虚拟机。通过这种技术,您可将容器用作基础计算基元,而不必管理基础实例。您只需构建容器映像,指定 CPU 和内存要求,定义联网和 IAM 策略,以及启动。Fargate 提供灵活的配置选项,可以极为一致地满足应用程序需求,计费可精确到秒。 最大的好处?您仍然可以使用所有相同的 ECS 基元、API 和 AWS 集成。Fargate 提供与 Amazon Virtual Private Cloud、AWS Identity and Access Management (IAM)、Amazon CloudWatch 和负载均衡器的原生集成。Fargate 任务使用 AWSVPC 联网模式,在 VPC 中配置弹性网络接口 (ENI) 与资源安全通信。通过 AWS 命令行界面 (CLI) […]

Read More

Amazon DynamoDB 更新 – 全局表和按需备份

各行各业的 AWS 客户都在使用 Amazon DynamoDB 存储关键任务数据。金融服务、商业、广告技术、物联网和游戏应用程序 (仅举几例) 每秒向包含数百 TB 数据和数万亿项目的表发起数百万个请求,依靠 DynamoDB 在十毫秒内返回结果。 今天,我们介绍两个强大且必将受到欢迎的新功能: 全局表 – 现在您可以创建跨两个或更多 AWS 区域自动复制的表,可完全支持只需几次点击即可实现的多主表写入。这让您能够为全球用户群构建快速、大规模扩展的应用程序,而无需管理复制过程。 按需备份 – 现在您可以一键创建 DynamoDB 表的完整备份,并且对性能或可用性没有任何影响。您的应用程序保持在线状态全速运行。备份适用于长期保留和存档,可帮助您满足法规要求。 全局表 DynamoDB 已将您的表复制到三个可用区,为您提供持久、高度可用的存储。现在,您可以使用全局表在两个或更多 AWS 区域间复制表 – 只需几次点击操作即可完成设置。您将获得极高的读写性能,并可进一步扩展,满足要求最苛刻的全球应用程序的需求。 您无需对现有代码进行任何更改,只需将写入请求和最终一致性读取请求发送到任意指定区域的 DynamoDB 终端节点即可 (与强一致性读取关联的写入应共享一个公共终端节点)。DynamoDB 在后台实施多主表写入,确保以对特定项目的最后一次写入为准。使用全局表时,每个项目将包含一个时间戳属性,用于表示最近一次写入的时间。更新通过 DynamoDB Streams 异步传播到其他区域,通常在一秒内完成 (可以使用新的 ReplicationLatency 和 PendingReplicationCount 指标跟踪这一过程)。 入门很简单。按照常规方式创建表,然后一键添加到其他区域的复制。必须从空表开始,且所有表都具有相同的名称和键配置 (哈希和可选排序键)。所有表还应共享一组一致的 Auto Scaling、TTL、本地二级索引、全局二级索引、预配置吞吐量设置和 IAM 策略。为方便起见,系统为新全局表自动启用 Auto Scaling。 如果不使用 DynamoDB Auto Scaling,您应该预配置充足的读取容量,以应对本地读取;预配置充足的写入容量,以容纳组中所有表的写入;并为源自本地区域的每个应用程序写入预配置额外的系统 写入。系统写入用于支持“以最后一次写入为准”模型。 下面,我们创建一个跨三个区域的全局表。先按照常规方式创建表,然后单击 […]

Read More

开发进行时 – Amazon Aurora Serverless

对于 Amazon Aurora,您可能已有所了解。Aurora 是一种完全托管、可自动扩展到 64 TB 的数据库存储,提供与 MySQL 兼容或与 PostgreSQL 兼容的版本。创建 Aurora 数据库实例时,您可以选择所需的实例大小,并可以选择使用只读副本提高读取吞吐量。如果处理要求或查询率发生变化,您可以选择修改实例大小或根据需要更改只读副本的数目。此模型在工作负载可预测、请求速率和处理要求较高的环境中运行极佳。 在某些情况下,工作负载可能是间歇性和/或不可预知的,并且每天或每周可能有仅持续数分钟或数小时的请求高峰。限时抢购、偶发或一次性事件、在线游戏、报告工作负载 (每小时或每天)、开发/测试和新上线应用程序都具有上述特点。要分配恰好够用的容量很难;按固定价格付费又不够明智。 Amazon Aurora Serverless 发布 我们于今日推出 Amazon Aurora Serverless 预览版 (立即注册)。此新配置专为多变的工作负载设计,让您能够以秒为单位为所用的数据库资源付费。 此无服务器模型构建在处理和存储清晰分离的基础上,处理和存储清晰分离是 Aurora 架构的一部分 (有关更多信息,请参阅 Design Considerations for High-Throughput Cloud-Native Relational Databases)。您不必预先选择数据库实例大小,而是创建一个终端节点,根据需要设置所需的最小和最大容量,然后向此终端节点发出查询。终端节点是一个简单代理,它将查询路由到快速扩展的数据库资源队列。这样,即使在后台执行扩展操作,您的连接也能保持不变。扩展操作极为迅速,新资源可在 5 秒内上线。下图说明了这些功能是如何结合在一起的: 存储和处理是分开的,因此处理容量可以缩减至零 (此时,您只需支付存储费用)。我认为这一点很棒,它有可能催生随开即用的新型瞬时应用程序。基于可随时启用以处理请求的“热”资源池进行扩展 (可在数秒内完成)。新增资源基于现有的已缓存和已缓冲内容,可实现全速运行。这让您能够毫不费力地将现有 Aurora 数据库转换为无服务器模型。 基于 Aurora 容量单位计费,每个单位代表计算能力与内存的组合。以 1 秒为增量进行计量,每个新增资源最低计 1 分钟。 敬请关注 2018 年初,我将向大家介绍有关 Amazon Aurora […]

Read More

AWS 和加州理工学院通过新的研究协作携手加快人工智能和机器学习的发展

从自主机器人到最前沿的计算机视觉,加州理工学院和 Amazon 具有很多共同点,包括二者都认为打破人工智能 (AI) 和机器学习 (ML) 的边界不仅会颠覆各个行业,还会从根本上改变科学研究的本质。我们相信这些技术有可能改变诸如工业自动化、机器人、癌症研究、神经科学等领域,甚至帮助发现下一个引力子! 今天,我们宣布两家组织建立研究合作伙伴关系,以推动对人工智能、数据科学和机器学习的研究。 作为为期两年且可延长的合作伙伴关系的一部分,Amazon 将以资助研究生奖学金的形式提供财务支持,以 AWS 云积分的形式提供计算资源,以加速加州理工学院师生在这些领域中的工作。团队将借助 AWS 云 (包括最前沿的 Nvidia GPU 实例),使用 Apache MXNet 等开源项目训练深度神经网络,以及协作突破人工智能的基础性限制。合作关系包括加州理工学院计算和数学科学 (CMS) 系和电气工程 (EE) 系的研究人员,以及在加州理工学院从事其他 AI/ML 应用工作的研究人员,包括与新落成的自主系统技术中心 (CAST)、最近宣布成立的陈神经科学研究院以及世界著名的喷气推动硏究室 (JPL) 等开展协作的研究人员。加州理工学院是一个真正可以进行跨学科研究的地方,我们不对他们的人工智能研究类型施加任何限制 – 我们希望团队能够大胆设想,大胆创新! 这种合作关系也是加州理工学院和 AWS 之间已经开展的合作的一种自然延伸。AWS ML 研究团队的多名成员,包括 Anima Anandkumar 和 Pietro Perona 在内,都会在 Amazon 和加州理工学院之间分配他们的时间。除这两个人外,领导合作关系的主要研究人员包括: Aaron Ames 机械与土木工程及控制动力系统 Bren 教授 Ames 教授的研究方向为机器人、非线性控制、混合系统、自治和网络物理系统,重点是机器人系统的基础理论和实验实现。他的实验室设计、构建和测试新型双足机器人和假肢,目标是实现像人类一样行走的双足机器人,并将这些功能转化为机器人辅助设备。 Animashree (Anima) Anandkumar […]

Read More

走近Fargate,动手配置属于自己的Fargate集群

Fargate简介 就在大约三年前,AWS宣布Amazon Elastic Container Service(Amazon ECS)在AWS上大规模运行和管理容器。 利用Amazon ECS,您可以高规模和高可用性地运行您的工作负载,而无需担心运行自己的集群管理和容器编排软件。 现在,AWS宣布推出AWS Fargate ,使您能够将容器作为基本的计算单元,而无需管理底层实例。 借助Fargate,您不需要在集群中配置,部署或扩展虚拟机来运行容器。 今天,Fargate可以与Amazon ECS一起使用,计划在未来支持Kubernetes(Amazon EKS)的亚马逊弹性容器服务。 Fargate具有灵活的配置选项,因此您可以紧密匹配您的应用程序需求和精确的每秒计费。 无需管理任何EC2实例 基于任务的源生API 计费到CPU和Memory级别,按照Task使用的这些资源按秒计费 Fargate优势 无需管理群集 使用 AWS Fargate,您只需考虑容器,以便能够集中精力构建和运行应用程序。AWS Fargate 消除了管理 Amazon EC2 实例群集的需要。您不必再选择实例类型、管理群集调度和优化群集利用率。使用 Fargate,所有这些麻烦都将不复存在。 无缝扩展 借助 Fargate,您可以轻松扩展应用程序。您不必再担心是否为容器应用程序预置了足够多的计算资源的问题。在您指定应用程序要求 (例如 CPU、内存等) 后,AWS Fargate 会以高度可用的方式管理运行您的容器所需的所有扩展和基础设施。您不再需要决定何时扩展群集,也不需要将其打包即可实现最佳利用率。使用 Fargate,您可以在几秒钟内启动数以万计的容器,并轻松扩展以运行最重要的关键任务型应用程序。 与 AMAZON ECS 和 EKS 集成 AWS Fargate 与 Amazon ECS 无缝集成。您只需按照定义 Amazon ECS 的方式定义您的应用程序。您可以将应用程序打包到任务定义中,指定所需的 CPU […]

Read More