AWS 的愿景是将深度学习普及给日常开发人员,并推广以低成本、即用即付型使用模型提供的前沿基础设施。AWS Inferentia 是 Amazon 的首款旨在加速深度学习工作负载的定制芯片,并且是实现这一愿景的长期战略的一部分。AWS Inferentia 旨在提供云中的高性能推理,降低推理的总成本,并使开发人员能够轻松地将机器学习功能集成到业务应用程序中。

AWS Neuron 软件开发工具包 (SDK) 由编译器、运行时工具和分析工具组成,可帮助优化 AWS Inferentia 工作负载的性能。开发人员可以部署在 TensorFlow、PyTorch 和 MXNet 等流行框架上创建和训练的复杂神经网络模型,并将其部署到基于 AWS Inferential 的 Amazon EC2 Inf1 实例上。您可以继续使用今天使用的相同的机器学习框架,并且只需最少的代码更改即可将您的模型迁移到 Inf1 上,且无需与供应商特定相关的解决方案进行绑定。

Amazon Alexa 采用 AWS Inferentia 降低 ML Inference 的成本

优势

高性能

每个 AWS Inferentia 芯片都能支持高达 128 TOPS(每秒数万亿次运行)的性能,并且每个 EC2 Inf1 实例具有多达 16 个 Inferentia 芯片。我们对 Inferentia 进行了优化,可最大程度地提高小批量规模的吞吐量,这对于语音生成和搜索等具有严格延迟要求的应用程序特别有用。

低延迟

AWS Inferentia 具有大容量芯片上内存,可用于缓存大型模型,而不是将它们存储到芯片以外。这对于降低推理延迟具有显著影响,因为 Inferentia 的处理核心(称为神经元核心)可以对存储在片内内存的模型进行高速访问,并且不受片外内存带宽的限制。

易于使用

开发人员可以使用 TensorFlow、PyTorch 和 MXNet 等流行框架来训练模型,并使用 AWS Neuron 开发工具包轻松地将它们部署到基于 AWS Inferentia 的 Inf1 实例。AWS Inferentia 支持 FP16、BF16 和 INT8 数据类型。此外,Inferentia 可以采用 32 位训练模型,并使用 BFloat16 以 16 位模型的速度运行自动该模型。

由 AWS Inferentia 提供支持的 Amazon EC2 Inf1 实例

Amazon EC2 Inf1 实例基于 AWS Inferentia 芯片,与当前一代基于 GPU 的 Amazon EC2 实例相比,吞吐量最高可提高 2.3 倍,每次推理的成本降低多达 70%。Inf1 实例具有多达 16 个 AWS Inferentia 芯片,最新的第二代定制 Intel® Xeon® 可扩展处理器以及高达 100Gbps 的网络,可实现高吞吐量推理。 开始使用 Inf1 实例的最简单和最快速的方法是通过 Amazon SageMaker,这是一个完全托管的服务,使开发人员能够快速构建、训练和部署机器学习模型。使用容器化应用程序的开发人员还可以使用 Amazon Elastic Kubernetes Service (EKS) 来部署 Inf1 实例。

了解更多 »

AWS Neuron 开发工具包

AWS Neuron 是一种软件开发工具包 (SDK),用于使用 AWS Inferentia 芯片运行机器学习推理。它由编译器、运行时和性能分析工具组成,使开发人员能够使用基于 AWS Inferentia 的 Amazon EC2 Inf1 实例运行高性能、低延迟的推理。Neuron 开发人员可以在任何流行的框架(如 TensorFlow、PyTorch 和 MXNet)上轻松训练机器学习模型,并在 EC2 Inf1 实例上以最佳方式运行它。您可以继续使用今天使用的相同的机器学习框架,并且只需最少的代码更改即可将您的软件迁移到 Inf1 实例上,且无需与供应商特定相关的解决方案进行绑定。AWS Neuron 开发工具包已预安装在 AWS Deep Learning AMI 和 AWS Deep Learning Containers 中,让您可以轻松开始使用 Inf1 实例。

了解更多 » 或 开始使用 »

博客和文章

作者:Sébastien Stormacq,2020 年 11 月 12 日
 
作者:Fabio Nonato de Paula、Haichen Li 和 Samuel Jacob,2020 年 10 月 6 日
 
作者:Gadi Hutt,2020 年 09 月 28 日
 
作者:Julien Simon,2020 年 08 月 14 日
 
作者:Fabio Nonato De Paula 和 Haichen Li,2020 年 7 月 22 日
 
Julien Simon,2020 年 6 月 15 日 
 
Amazon EC2 Inf1 实例现在支持 Amazon SageMaker
Patrick Moorhead,2020 年 5 月 13 日
 
Jeff Barr,2019 年 12 月 3 日
 
AWS Inferentia 机器学习处理器
James Hamilton,2018 年 11 月 28 日

视频

AWS re:Invent 2019:观看 Andy Jassy 谈论芯片投资和 Inf1
AWS re:Invent 2019:使用具有 Amazon Alexa 的新 Amazon EC2 Inf1 实例进行 ML 推理
使用新的 Amazon EC2 Inf1 实例降低运行 ML 应用程序的成本 - AWS 在线技术讲座
Sign up for a free account
注册免费账户

立即享受 AWS 免费套餐。 

注册 
Standard Product Icons (Start Building) Squid Ink
在控制台中开始构建

在 AWS 控制台中开始使用机器学习。

登录