AWS Inferentia 加速器由 AWS 设计,旨在以最低的成本为您的深度学习 (DL) 推理应用程序提供高性能。
第一代 AWS Inferentia 加速器为 Amazon Elastic Compute Cloud (Amazon EC2) Inf1 实例提供支持,与同类 Amazon EC2 实例相比,该实例的吞吐量可提高多达 2.3 倍,每次推理的成本可降低多达 70%。许多客户,包括 Airbnb、Snap、Sprinklr、Money Forward 和 Amazon Alexa,都采用了 Inf1 实例并实现了其性能和成本优势。
与第一代 AWS Inferentia 相比,AWS Inferentia2 加速器在性能和功能方面实现了重大飞跃。与 Inferentia 相比,Inferentia2 的吞吐量提高了 4 倍,延迟低至前者的 1/10。基于 Inferentia2 的 Amazon EC2 Inf2 实例旨在以最低的成本在 Amazon EC2 中为您的 DL 推理和生成式人工智能(AI)应用程序提供高性能。它们经过优化,可以大规模部署越来越复杂的模型,例如大型语言模型(LLM)和视觉转换器。Inf2 实例是 Amazon EC2 中的首个推理优化实例,可通过加速器之间的超高速连接支持横向扩展分布式推理。您现在可以在 Inf2 实例上跨多个加速器经济高效地部署具有数千亿个参数的模型。
AWS Neuron 是一种 SDK,可帮助开发人员在两个 AWS Inferentia 加速器上部署模型并运行您的推理应用程序,从而进行自然语言处理(NLP)/理解、语言翻译、文本摘要、视频和图像生成、语音识别、个性化、欺诈检测等。它与 PyTorch 和 TensorFlow 等热门的机器学习(ML)框架原生集成,让您可以继续使用现有的代码和工作流,并且在 Inferentia 加速器上运行。
优势
高性能和高吞吐量
每个第一代 Inferentia 加速器都搭载了四个第一代 NeuronCore,每个 EC2 Inf1 实例最多有 16 个 Inferentia 加速器。每个 Inferentia2 加速器都搭载了两个第二代 NeuronCore,每个 EC2 Inf2 实例最多有 12 个 Inferentia2 加速器。Inferentia2 提供比 Inferentia 高 4 倍的吞吐量和高 3 倍的计算性能。每个 Inferentia2 加速器支持高达每秒 190 万亿次浮点运算(TFLOPS)的 FP16 性能。
低延迟、高带宽内存
第一代 Inferentia 每个加速器都有8 GB 的 DDR4 内存,并且还具有大容量芯片内存。Inferentia2 为每个加速器提供 32GB 的 HBM,与 Inferentia 相比,总内存增加了 4 倍,内存带宽增加了 10 倍。
对 ML 框架的原生支持
AWS Neuron SDK 与 PyTorch 和 TensorFlow 等流行的 ML 框架原生集成。借助 AWS Neuron,您可以使用这些框架在两个 AWS Inferentia 加速器上以最佳方式部署 DL 模型,只需最少的代码更改,并且无需绑定到供应商特定的解决方案。
具有自动转换功能的广泛数据类型
第一代 Inferentia 支持 FP16、BF16 和 INT8 数据类型。Inferentia2 添加了对 FP32、TF32 和新的可配置 FP8(cFP8)数据类型的额外支持,为开发人员提供了更大的灵活性,可以优化性能和准确性。AWS Neuron 采用高精度 FP32 模型,并自动将它们转换为精度较低的数据类型,同时优化了准确性和性能。Autocasting 通过消除对低精度再培训的需求来缩短上市时间。
最先进的深度学习功能
Inferentia2 为动态输入大小和用 C++ 编写的自定义运算符添加了硬件优化。它还支持随机舍入,这是一种概率舍入方式,与传统舍入模式相比可实现高性能和更高的精度。
专为可持续性打造
与同类的 Amazon EC2 实例相比,Inf2 实例可实现高达 50% 的性能功耗比提升,因为它们和底层 Inferentia2 加速器专为大规模运行 DL 模型而构建。Inf2 实例可帮助您在部署超大型模型时实现可持续发展目标。
AWS Neuron SDK
AWS Neuron 是一种 SDK,可帮助开发人员在两个 AWS Inferentia 加速器上部署模型并在 AWS Trainium 加速器上训练它们。它与 PyTorch 和 TensorFlow 等热门的 ML 框架原生集成,让您可以继续使用现有的工作流程,并且只需几行代码即可在 Inferentia 加速器上运行。
AWS Trainium
AWS Trainium 是 AWS 设计的一款 DL 培训加速器,可在 AWS 上提供高性能且经济高效的 DL 培训。Amazon EC2 Trn1 实例由 AWS Trainium 提供支持,可在 AWS 上对热门 NLP 模型进行最高性能的深度学习训练。与同类 Amazon EC2 实例相比,Trn1 实例可节省高达 50% 的训练成本。
客户评价

Qualtrics 设计和开发体验管理软件。
“在 Qualtrics,我们的工作重点是构建技术,以缩小客户、员工、品牌和产品的体验差距。为实现这一目标,我们正在开发复杂的多任务、多模式 DL 模型以推出新功能,例如文本分类、序列标记、话语分析、关键短语提取、主题提取、集群和端到端对话理解。随着我们在更多应用中使用这些更复杂的模型,非结构化数据量不断增长,我们需要更高性能的推理优化优化解决方案(例如 Inf2 实例)来满足这些需求,为我们的客户提供最佳体验。我们对新的 Inf2 实例感到兴奋,因为它不仅可以让我们实现更高的吞吐量,同时显著降低延迟,而且还引入了分布式推理和增强的动态输入形状支持等功能,这将有助于进行扩展,从而在向更大、更复杂的大型模型发展时满足部署需求。”
Aaron Colak,Qualtrics 核心机器学习主管

Finch Computing 是一家自然语言技术公司,为政府、金融服务和数据集成商客户提供人工智能应用程序。
“为了满足客户对实时 NLP 的需求,我们开发了可扩展到大型生产工作负载的先进 DL 模型。我们必须提供低延迟事务处理并实现高吞吐量,以处理全球数据馈送。我们已经将许多生产工作负载迁移到 Inf1 实例,并且实现了与 GPU 相比 80% 的成本节约。现在,我们正在开发更大、更复杂的模型,以便从书面文本中获得更深刻、更有洞察力的意义。我们的许多客户需要实时访问这些洞察,Inf2 实例的性能将帮助我们提供比 Inf1 实例更低的延迟和更高的吞吐量。随着 Inf2 性能改进和新的 Inf2 功能,例如支持动态输入大小,我们正在改善我们的成本效率,提升实时客户体验,并帮助我们的客户从他们的数据中收集新的洞察。”
Franz Weckesser,Finch Computing 首席架构师

“我们以多种语言、不同的格式(图像、视频、音频、文本传感器、所有这些类型的组合)对世界各地成千上万个来源的多种类型的事件发布提醒。考虑到这种规模,优化速度和成本对我们的业务至关重要。借助 AWS Inferentia,我们降低了模型延迟,使每美元吞吐量提高了 9 倍。这使我们能够部署更复杂的 DL 模型,在控制成本的同时,使处理的数据量增加 5 倍,从而提高模型的准确性并增强平台的功能。”
Alex Jaimes,Dataminr 首席科学家兼人工智能高级副总裁

Airbnb 是一个社区市场,成立于 2008 年,总部位于旧金山,其拥有超过 400 万名房东,接待过超过 9 亿名旅客,业务几乎遍及全球各个国家/地区。
“Airbnb 的社区支持平台为我们由全球数百万旅客和房东组成的社区提供了智能、可扩展和卓越的服务体验。我们一直在寻找方法来提高我们的客服聊天机器人应用程序所使用的 NLP 模型的性能。我们看到,与用于基于 PyTorch 的 BERT 模型的基于 GPU 实例相比,使用由 AWS Inferentia 提供支持的 Amazon EC2 Inf1 实例时,吞吐量提高了 2 倍。我们期待在未来将 Inf1 实例用于其他模型和使用案例。”
Bo Zeng,Airbnb 工程经理

“我们将 ML 融入 Snapchat 的很多方面,在此领域探索创新是重中之重。我们一听说 Inferentia 就开始与 AWS 合作采用 Inf1/Inferentia 实例来帮助我们进行 ML 部署,包括性能和成本方面。我们用自己的推荐模型开始,并期待未来将更多模型用于 Inf1 实例。”
Nima Khajehnouri,Snap Inc. 工程副总裁

“通过 Sprinklr 的 AI 驱动型统一客户体验管理(统一 CXM)平台,公司能够收集多个渠道中的实时客户反馈,并将其转化为可实施的洞察 – 从而形成主动的问题解决方法、增强的产品开发、改进的内容营销、更好的客户体验,等等。使用 Amazon EC2 Inf1,我们能够显著地提高我们的 NLP 模型之一的性能,还能提高我们的计算机视觉模型之一的性能。我们期待继续使用 Amazon EC2 Inf1 更好地为全球客户服务。”
Vasant Srinivasan,Sprinklr 产品工程高级副总裁

“Autodesk 正在通过使用 Inferentia 来推进我们的人工智能虚拟助手 — Autodesk 虚拟代理(AVA)的认知技术。AVA 通过应用自然语言理解(NLU)和 DL 技术来提取查询背后的上下文、意图和意义,每月解答超过 10 万个客户问题。试用 Inferentia 后,对于 NLU 模型,我们能够获得比 G4dn 高 4.9 倍的吞吐量,并期望在基于 Inferentia 的 Inf1 实例上运行更多的工作负载。”
inghui Ouyang,Autodesk 高级数据科学家
使用 AWS Inferentia 的 Amazon 服务

Amazon Advertising 可帮助各种规模的企业在客户购物过程的每个阶段与其建立联系。每天都有数以百万计的文本和图像广告经过审核和分类,以确保提供最佳的客户体验。
“对于我们的文本广告处理,我们在基于 AWS Inferentia 的 Inf1 实例上全局部署了基于 PyTorch 的 BERT 模型。通过从 GPU 迁移到 Inferentia,我们能够在获得近似性能的前提下将成本降低 69%。为 AWS Inferentia 编译和测试我们的模型只用了不到三周的时间。使用 Amazon SageMaker 将我们的模型部署到 Inf1 实例可确保我们的部署具有可扩展性且易于管理。当我第一次分析编译的模型时,AWS Inferentia 的性能令人印象深刻,我实际上不得不重新运行基准测试以确保它们是正确的! 我们计划未来将我们的图像广告处理模型迁移到 Inferentia。我们已经对这些模型的基于 GPU 的可比较实例进行了基准测试,其延迟降低了 30%,成本节省了 71%。”
Yashal Kanungo,Amazon Advertising 应用科学家
阅读新闻博客 »

“Amazon Alexa 的 AI 和基于机器学习的智能技术由 AWS 提供支持,目前已在 1 亿多台设备上可用。我们向客户承诺,Alexa 将始终致力于变得更智能、更对话化、更主动、更令人满意。实现这一承诺需要持续改进响应时间和机器学习基础设施成本,因此我们很高兴使用 Amazon EC2 Inf1 实例来降低 Alexa 文字转语音的推理延迟和每次推理成本。借助 Amazon EC2 Inf1 实例,我们将能够为每月使用 Alexa 的数千万客户提供更好的服务。”
Tom Taylor,Amazon Alexa 高级副总裁
“我们持续地创新,以进一步改善客户体验并压低我们的基础设施成本。将基于 Web 的问答(WBQA)工作负载从基于 GPU 的 P3 实例迁移到基于 AWS Inferentia 的 Inf1 实例不仅帮助我们将推理成本降低了 60%,还将端到端延迟减少了超过 40%,由此通过 Alexa 增强了客户的问答体验。在将 Amazon SageMaker 用于我们基于 TensorFlow 的模型后,切换到 Inf1 实例的流程变得更加直接和易于管理。现在,我们在全球使用 Inf1 实例运行这些 WBQA 工作负载,并持续优化其用在 AWS Inferentia 中的性能以进一步降低成本,减少延迟。”
Eric Lind,Alexa AI 软件开发工程师

“Amazon Prime Video 使用计算机视觉 ML 模型分析直播活动的视频质量,以确保 Prime Video 会员获得最佳观看体验。我们在 EC2 Inf1 实例上部署了我们的图像分类 ML 模型,并能够获得 4 倍的性能改进和高达 40% 的成本节省。我们现在希望利用这些节省的成本来创新和构建先进的模型,以便检测更复杂的缺陷,如音频和视频文件之间的同步差距,从而为 Prime Video 会员提供更强的观看体验。”
Victor Antonino,Amazon Prime Video 解决方案架构师

“Amazon Rekognition 是一种简单的图像和视频分析应用程序,可帮助客户识别物体、人、文本和活动。Amazon Rekognition 需要高性能的深度学习基础设施,以便可以每天为客户分析数十亿图像和视频。使用基于 AWS Inferentia 的 Inf1 实例运行对象分类之类的 Amazon Rekognition 模型,与在 GPU 上运行这些模型相比,可将延迟降低 8 倍,将吞吐量提高 2 倍。根据这些结果,我们将 Amazon Rekognition 移动到 Inf1,从而使我们的客户能够更快地获取准确结果。”
Rajneesh Singh,Amazon Rekognition 和视频软件工程总监
博客和文章
Patrick Moorhead,2020 年 5 月 13 日
James Hamilton,2018 年 11 月 28 日