AWS Inferentia

高性能机器学习推理芯片,由 AWS 自定义设计

AWS 的愿景是将深度学习普及给日常开发人员,并推广以低成本、即用即付型使用模型提供的前沿基础设施。AWS Inferentia 是 Amazon 的首款旨在加速深度学习工作负载的定制芯片,并且是实现这一愿景的长期战略的一部分。AWS Inferentia 旨在提供云中的高性能推理,降低推理的总成本,并使开发人员能够轻松地将机器学习功能集成到业务应用程序中。AWS Neuron 软件开发工具包 (SDK) 包含编译器、运行时和分析工具,可帮助优化 AWS Inferentia 的工作负载性能,使复杂的神经网络模型(在 Tensorflow、PyTorch 和 MXNet 等流行框架中创建和训练)可以使用基于 AWS Inferentia 的 Amazon EC2 Inf1 实例执行。

AWS Inferentia

优势

高性能

每个 AWS Inferentia 芯片都能支持高达 128 TOPS(每秒数万亿次运行)的性能,并且每个 EC2 Inf1 实例具有多达 16 个 Inferentia 芯片。我们对 Inferentia 进行了优化,可最大程度地提高小批量规模的吞吐量,这对于语音生成和搜索等具有严格延迟要求的应用程序特别有用。

低延迟

AWS Inferentia 具有大容量芯片上内存,可用于缓存大型模型,而不是将它们存储到芯片以外。这对于降低推理延迟具有显著影响,因为 Inferentia 的处理核心(称为神经元核心)可以对存储在片内内存的模型进行高速访问,并且不受片外内存带宽的限制。

灵活性

开发人员可以使用 TensorFlow、PyTorch 和 MXNet 等流行框架来训练模型,并使用 AWS Neuron 开发工具包轻松地将它们部署到基于 AWS Inferentia 的 Inf1 实例。AWS Inferentia 支持 FP16、BF16 和 INT8 数据类型。此外,Inferentia 可以采用 32 位训练模型,并使用 BFloat16 以 16 位模型的速度运行自动该模型。

由 AWS Inferentia 提供支持的 Amazon EC2 Inf1 实例

与 Amazon EC2 G4 实例相比,基于 AWS Inferentia 芯片的 Amazon EC2 Inf1 实例的吞吐量提高了 30%,每次推理的成本降低了 45%,而 Amazon EC2 G4 实例先前一直是云端机器学习推理的最低成本实例。Inf1 实例具有多达 16 个 AWS Inferentia 芯片,最新的第二代定制 Intel® Xeon® 可扩展处理器以及高达 100Gbps 的网络,可实现高吞吐量推理。 开始使用 Inf1 实例的最简单和最快速的方法是通过 Amazon SageMaker,这是一个完全托管的服务,使开发人员能够快速构建、训练和部署机器学习模型。使用容器化应用程序的开发人员还可以使用 Amazon Elastic Kubernetes Service (EKS) 来部署 Inf1 实例。

了解更多 »

AWS Neuron 开发工具包

AWS Neuron 是一种软件开发工具包 (SDK),用于使用 AWS Inferentia 芯片运行机器学习推理。它由编译器、运行时和性能分析工具组成,使开发人员能够使用基于 AWS Inferentia 的 Inf1 实例运行高性能、低延迟的推理。AWS Neuron 为开发人员提供了灵活性,使其可以在任何流行的框架(如 TensorFlow、PyTorch 和 MXNet)上训练机器学习模型,并在 Amazon EC2 Inf1 实例上以最佳方式运行它。AWS Neuron 开发工具包已预安装在 AWS Deep Learning AMI 中,并且很快还将预安装在 AWS Deep Learning Containers 中。

了解更多 »开始使用 »

博客和文章

Julien Simon,2020 年 6 月 15 日 
 
Amazon EC2 Inf1 实例现在支持 Amazon SageMaker
Patrick Moorhead,2020 年 5 月 13 日
 
Jeff Barr,2019 年 12 月 3 日
 
AWS Inferentia 机器学习处理器
James Hamilton,2018 年 11 月 28 日

视频

AWS re:Invent 2019:观看 Andy Jassy 谈论芯片投资和 Inf1
AWS re:Invent 2019:使用具有 Amazon Alexa 的新 Amazon EC2 Inf1 实例进行 ML 推理
使用新的 Amazon EC2 Inf1 实例降低运行 ML 应用程序的成本 - AWS 在线技术讲座
Product-Page_Standard-Icons_02_Sign-Up_SqInk
注册免费账户

立即享受 AWS 免费套餐。 

注册 
Product-Page_Standard-Icons_03_Start-Building_SqInk
在控制台中开始构建

在 AWS 控制台中开始使用机器学习。

登录