Amazon EC2 Inf1 实例

云端的高性能和更低成本机器学习推理

各行各业的企业都在寻求由人工智能 (AI) 推动转型，以此促进业务创新，改善客户体验和落实改进措施。支持人工智能 (AI) 应用程序的机器学习模型变得越来越复杂，导致底层计算基础设施成本不断上升。高达 90% 用于开发和运行机器学习应用程序的基础设施支出通常用于推理。客户正寻求经济高效的基础架构解决方案，以便在生产中部署他们的机器学习应用程序。

Amazon EC2 Inf1 实例可在云端以最低成本提供高性能机器学习推理。与当前一代基于 GPU 的 Amazon EC2 实例相比，它们的吞吐量最高可提高 2.3 倍，每次推理的成本降低多达 70%。Inf1 实例的构建目的就是用于支持机器学习推理应用程序。它们具有多达 16 个 AWS Inferentia 芯片，这是由 AWS 专门设计和打造的高性能机器学习推理芯片。另外，Inf1 实例包含第二代 Intel® Xeon® 可扩展处理器以及高达 100Gbps 的网络，可实现高吞吐量推理。

客户可以借助 Inf1 实例，在云中以最低的成本运行大规模机器学习推理应用程序，例如搜索、建议引擎、计算机视觉、语音识别、自然语言处理、个性化和欺诈检测。

开发人员可以使用 AWS Neuron 开发工具包将其机器学习模型部署到 Inf1 实例，该开发工具包集成了 TensorFlow、PyTorch 和 MXNet 等受欢迎的机器学习框架。您可以继续使用相同的机器学习工作流，并且只需最少的代码更改即可将应用程序无缝迁移到 Inf1 实例上，且无需与供应商特定相关的解决方案进行捆绑。

使用 Amazon SageMaker、预配置了 Neuron 开发工具包的 AWS 深度学习 AMI，或使用用于容器化机器学习应用程序的 Amazon ECS 或 Amazon EKS，轻松开始使用 Inf1 实例。

Amazon EC2 Inf1 实例 | Amazon Web Services（1:23）

优势

每次推理的成本降低多达 70%

使用 Inf1，开发人员可以在云端以最低的每个推理成本显著降低其机器学习生产部署的成本。Inf1 实例结合了低实例成本和高吞吐量，与当前一代基于 GPU 的 EC2 实例相比，可将每次推理成本降低高达 70%。

易用性和代码可移植性

Neuron 开发工具包与常用的机器学习框架集成，如TensorFlow、PyTorch 和 MXNet。开发者可以继续使用相同的机器学习工作流，并且只需最少的代码更改即可将应用程序无缝迁移到 Inf1 实例上。这使得他们可以灵活使用所选机器学习框架、最能满足其需求的计算平台，并利用最新技术，无需受与供应商特定相关的解决方案束缚。

吞吐量提高至 2.3 倍

与当前一代基于 GPU 的 Amazon EC2 实例相比，Inf1 实例的吞吐量最高可提高 2.3 倍。支持 Inf1 实例的 AWS Inferentia 芯片针对小批量的推理性能进行了优化，使实时应用程序能够最大限度提升吞吐量并满足延迟要求。

超低延迟

AWS Inferentia 芯片配有较大的芯片上内存容量，允许直接在芯片上缓存机器学习模型。您可以使用 NeuronCore Pipeline 等功能部署您的模型，由此无需使用外部内存资源。通过 Inf1 实例，您可以在接近实时延迟的情况下部署实时推理应用程序，而不会影响带宽。

支持多种机器学习模型和数据类型

Inf1 实例支持许多常用机器学习模型架构，例如用于图像识别/分类的 SSD、VGG 和 ResNext，以及用于自然语言处理的 Transformer 和 BERT。此外，Neuron 中对 HuggingFace 模型存储库的支持使客户能够使用预培训模型编译和运行推理，甚至只需更改一行代码即可轻松地对其进行微调。支持使用混合精度的多种数据类型，包括 BF16 和 FP16，以满足各种模型和性能需求。

功能

由 AWS Inferentia 提供支持

AWS Inferentia 是一种机器学习芯片，由 AWS 自定义设计和打造，旨在以低成本提供高性能推理。每个 AWS Inferentia 芯片提供高达 128TOPS（每秒数万亿次运行）的性能，并且支持 FP16、BF16 和 INT8 数据类型。AWS Inferentia 芯片还具有大量的芯片上内存，可用于缓存大型模型，这对于需要频繁访问内存的模型尤为有利。

使用 AWS Neuron 部署热门机器学习框架

AWS Neuron 软件开发工具包 (SDK) 由编译器、运行时驱动程序和分析工具组成。它支持使用 Inf1 实例部署在常用框架（例如 TensorFlow、PyTorch 和 MXNet）中创建和训练的复杂神经网络模型。Neuron 的 NeuronCore Pipeline 还支持您使用高速物理芯片间互联将大型模型进行拆分，以便在多个 Inferentia 芯片上执行，从而提供高推理吞吐量和更低的推理成本。

高性能联网和存储

对于需要访问高速网络的应用程序，Inf1 实例可提供高达 100Gbps 的联网吞吐量。新一代 Elastic Network Adapter (ENA) 和 NVM Express (NVMe) 技术为 Inf1 实例提供了高吞吐量、低延迟的联网接口和 Amazon Elastic Block Store (Amazon EBS)。

依托 AWS Nitro 系统构建

AWS Nitro 系统是丰富的构建块集合，可将许多传统虚拟化功能卸载到专用硬件和软件中，以提供高性能、高可用性和高安全性，同时还可降低虚拟化开销。

工作原理

客户评价

Airbnb 是一个社区市场，成立于 2008 年，总部位于旧金山，其拥有超过 400 万名房东，接待过超过 9 亿名旅客，业务几乎遍及全球各个国家/地区。

“Airbnb 的社区支持平台为我们由全球数百万旅客和房东组成的社区提供了智能、可扩展和卓越的服务体验。我们一直在寻找方法来提高我们的客服聊天机器人应用程序所使用的自然语言处理模型的性能。我们看到，与用于基于 PyTorch 的 BERT 模型的基于 GPU 实例相比，使用由 AWS Inferentia 提供支持的 Amazon EC2 Inf1 实例时，吞吐量提高了 2 倍。我们期待在未来将 Inf1 实例用于其他模型和使用安利。”

Bo Zeng，AirBnB 工程经理

“我们将机器学习 (ML) 融入 Snapchat 的很多方面，在此领域探索创新是重中之重。我们一听说 Inferentia 就开始与 AWS 合作采用 Inf1/Inferentia 实例来帮助我们进行 ML 部署，包括性能和成本方面。我们用自己的推荐模型开始，并期待未来将更多模型用于 Inf1 实例。”

Nima Khajehnouri，Snap Inc. 工程副总裁

“通过 Sprinklr 的 AI 驱动型统一客户体验管理（统一 CXM）平台，公司能够收集多个渠道中的实时客户反馈，并将其转化为可实施的洞察 – 从而形成主动的问题解决方法、增强的产品开发、改进的内容营销、更好的客户体验，等等。使用 Amazon EC2 Inf1，我们能够显著地提高我们的自然语言处理 (NLP) 模型之一的性能，还能提高我们的计算机视觉模型之一的性能。我们期待继续使用 Amazon EC2 Inf1 更好地为全球客户服务。”

Vasant Srinivasan，Sprinklr 产品工程高级副总裁

“我们一流的自然语言处理（NLP）产品 Finch for Text 让用户能够在海量文本中提取多种类型实体、消除歧义和丰富其内容。Finch for Text 需要大量的计算资源来为我们的客户在全局数据源上提供低延迟丰富内容。现在，我们使用在 PyTorch NLP、翻译和实体词义排歧模型中使用 AWS Inf1 实例。在保持推理速度和性能的同时，我们能够通过最小的优化降低 80% 以上的推理成本（对于GPU）。这一改进使我们的客户能够在全球范围内实时丰富其流媒体数据源上的法语、西班牙语、德语和荷兰语文本，这对我们的金融服务、数据聚合器和公共部门客户至关重要。”

Scott Lightner，Finch Computing 首席技术官

“Autodesk 正在通过使用 Inferentia 来推进我们的人工智能虚拟助手——Autodesk 虚拟代理 (AVA) 的认知技术。AVA 通过应用自然语言理解 (NLU) 和深度学习技术来提取查询背后的上下文、意图和意义，每月解答超过 10 万个客户问题。试用 Inferentia 后，对于 NLU 模型，我们能够获得比 G4dn 高 4.9 倍的吞吐量，并期望在基于 Inferentia 的 Inf1 实例上运行更多的工作负载。”

Binghui Ouyang，Autodesk 高级数据科学家

“探地雷达的使用和视觉缺陷的检测通常是专家测量师的领域。基于 AWS 微服务的架构使我们能够处理自动检查车辆和检查员拍摄的视频。通过将我们的内部构建模型从传统的基于 GPU 的实例迁移到 Inferentia，我们可以将成本降低 50%。此外，当与 G4dn GPU 实例进行时间比较时，我们能够看到性能的提高。我们的团队期待在基于 Inferentia 的 Inf1 实例上运行更多的工作负载。”

Jesús Hormigo，Screening Eagle Technologies 首席云和人工智能官

NTTPC Communications 是日本的网络服务和通信解决方案提供商，在推出信息和通信技术市场创新产品方面，处于电信行业领先地位。

“NTTPC 开发了“AnyMotion”，这是一个基于高级姿势估计机器学习模型的运动分析 API 平台服务。NTTPC 使用 Amazon Elastic Container Service (ECS) 在 Amazon EC2 Inf1 实例上部署了他们的 AnyMotion 平台，以实现完全托管的容器编排服务。通过在 Amazon EC2 Inf1 上部署他们的 AnyMotion 容器，与当前一代基于 GPU 的 EC2 实例相比，NTTPC 的吞吐量提高到了原来的 4.5 倍，推理延迟降低了 25%，成本降低了 90%。这些卓越的成果将有助于大规模提高 AnyMotion 服务的质量。”

Toshiki Yanagisawa，NTT PC Communications Incorporated 软件工程师

Anthem 是美国领先的医疗福利公司之一，他们提供的服务能满足数十个州 4000 多万会员的医疗保健需求。

“数字健康平台市场正以惊人的速度增长。由于庞大的客户意见数据及其非结构化性质，在这个市场上收集情报是一项具有挑战性的任务。我们的应用程序通过深度学习的自然语言模型 (Transformers) 自动生成来自客户意见的可操作见解。我们的应用程序属于计算密集型，需要以高性能的方式进行部署。我们无缝地将深度学习推理工作负载部署到由 AWS Inferentia 处理器支持的 Amazon EC2 Inf1 实例。新的 Inf1 实例可为基于 GPU 的实例提供 2 倍吞吐量，使我们能够简化推理工作负载。”

Numan Laanait 博士，Anthem 首席人工智能/数据科学家
Miro Mihaylov 博士，Anthem 首席人工智能/数据科学家

“Condé Nast 的全球投资组合涵盖了 20 多个领先的媒体品牌，包括《连线》、Vogue 和 Vanity Fair 等。在几周内，我们的团队就能将我们的推荐引擎与 AWS Inferentia 芯片集成。这种联合可以在 SageMaker 的 Inf1 实例上对最先进的自然语言模型进行多种运行时优化。结果，我们发现，与之前部署的 GPU 实例相比，成本降低 72%。”

Paul Fryzel，Condé Nast 人工智能基础设施首席工程师

“Ciao 正在将传统的安保摄像头发展成为具有类似于人眼功能的高性能分析摄像头。我们的应用程序采用基于云的 AI 摄像头解决方案在灾难发生前发出提醒，从而提升防灾能力，监测环境条件。此类提醒帮助在事发前对状况做出反应。基于物体检测，我们还可以预估实体店视频中无员工陪同的访客人数以便提供见解。Ciao Camera 在商业上采用基于 AWS Inferentia 的 Inf1 实例，其性价比比搭载 YOLOv4 的 G4dn 高 40%。我们期待在更多服务中使用 Inf1，充分利用其出色的成本效益。”

Shinji Matsumoto，Ciao Inc. 软件工程师

“Asahi Shimbun 是日本最受欢迎的日报之一。Media Lab 作为我们公司的部门之一，肩负研究最新技术（特别是人工智能 (AI)）以及为新业务联系尖端技术的使命。随着基于 Amazon EC2 Inf1 实例的 AWS Inferentia 在东京发布，我们在这些实例上测试了基于 PyTorch 的文本摘要人工智能 (AI) 应用程序。该应用程序处理了大量文本，并生成了在过去 30 年文章上进行训练的头条新闻和摘要句子。使用 Inferentia，我们降低了成本，削减了一个数量级的基于 CPU 的实例。成本的大幅下降让我们可以大规模地部署最复杂的模型，而之前从经济角度考虑，我们认为这是不可行的”

Hideaki Tamori 博士，Asahi Shimbun Company Media Lab 高级管理员

“CS Disco 是由律师为律师开发的电子取证人工智能 (AI) 解决方案的领先供应商提供商，正在重塑法律技术。Disco 人工智能利用复杂的自然语言处理模型，来更快地梳理 TB 级数、加快审核速度和提高审核准确率，这些模型的计算成本高昂，不划算。Disco 发现，与现在的 GPU 实例相比，基于 AWS Inferentia 的 Inf1 实例将 Disco 人工智能的推理成本至少降低了 35%。基于在 Inf1 实例方面的愉快体验，CS Disco 将探索向 Inferentia 迁移的机会。”

Alan Lockett，CS Disco 高级研究总监

“在 Talroo，我们为客户提供数据驱动平台，让客户吸引独特的工作候选人，以便他们完成招聘。我们不断探索新技术，以确保为客户提供最好的产品和服务。使用 Inferentia，我们从大量文本数据中提取见解，以提升人工智能 (AI) 支持的搜索匹配技术。Talroo 利用 Amazon EC2 Inf1 实例以 SageMaker 创建高吞吐量自然语言理解模型。Talroo 的初始测试表明，Amazon EC2 Inf1 实例使推理延迟降低了 40%，与 G4dn 基于 GPU 的实例相比，吞吐量提高了两倍。基于这些结果，Talroo 希望在其 AWS 基础设施中使用 Amazon EC2 Inf1 实例。”

Janet Hu，Talroo 软件工程师

“数字媒体专业公司 (DMP) 通过基于人工智能 (AI) 的 ZIA™ 平台对未来进行可视化。DMP 高效的计算机视觉分类技术可用于构建对大量实时图像数据的洞察，如状态观察、犯罪预防和事故预防。我们发现，我们的图像细分模型在基于 Inf1 实例的 AWS Inferentia 上的运行速度比基于 GPU 的 G4 实例快四倍。由于这一更高的吞吐量和较低的成本，Inferentia 使我们能够大规模部署我们的人工智能 (AI) 工作负载，如行车记录仪应用程序。”

Hiroyuki Umeda，数字媒体专业公司 (DMP) 销售与营销部总监兼总经理

Hotpot.ai 可帮助非设计师创建具有吸引力的图形，还可帮助专业设计师自动执行重复的任务。

“机器学习是我们策略的核心，我们很乐于尝试基于 AWS Inferentia 的 Inf1 实例。我们发现 Inf1 实例可以很容易地集成到我们的研发管道中。最重要的是，与基于 G4dn GPU 的实例相比，我们体验到了令人印象深刻的性能提升。在我们的第一个模型中，Inf1 实例的吞吐量提高了 45%，每次推理的成本降低了近 50%。我们打算与 AWS 团队密切合作，移植其他模型，并将大部分 ML 推理基础设施转移到 AWS Inferentia。”

Clarence Hu，Hotpot.ai 创始人

“SkyWatch 每天处理从太空捕获的数千亿像素地球观测数据。采用基于 AWS Inferentia 的全新 Inf1 实例，使用 Amazon SageMaker 进行实时云检测和图像质量评分非常迅速且轻松。这一切的关键点在于在部署配置中切换实例类型。通过将实例类型转换为基于 Inferentia 的 Inf1，我们将性能提高了 40%，并将总成本降低了 23%。我们取得了巨大胜利。它使我们能够降低整体运营成本，同时继续以最低的工程开销向客户提供高质量的卫星影像。我们期待着将所有推理终端节点和批处理机器学习流程转移到使用 Inf1 实例，以进一步提高数据可靠性和客户体验。”

Adler Santos，SkyWatch 工程经理

Money Forward, Inc. 为企业和个人提供开放和公平的金融平台。作为该平台的一部分，Money Forward 集团旗下公司 HiTTO Inc. 提供 AI 聊天机器人服务，该服务会使用定制的 NLP 模型，满足其企业客户的多元化需求。

“将我们的 AI 聊天机器人服务迁移到 Amazon EC2 Inf1 实例的过程非常简单。我们在 2 个月内完成了迁移，并使用 Amazon Elastic Container Service (ECS) 在 Inf1 实例上启动了大规模服务。通过为每个 Inf1 实例提供多个模型，我们能够将推理延迟降低 97%，将推理成本降低 50% 以上（相对于基于 GPU 的可比较实例）。我们期待在基于 Inferentia 的 Inf1 实例上运行更多的工作负载。”

Kento Adachi，Money Forward, Inc. 首席技术官办公室技术负责人

折叠

Amazon 服务使用 Amazon EC2 Inf1 实例

Amazon Advertising 可帮助各种规模的企业在客户购物过程的每个阶段与其建立联系。每天都有数以百万计的文本和图像广告经过审核和分类，以确保提供最佳的客户体验。

“对于我们的文本广告处理，我们在基于 AWS Inferentia 的 Inf1 实例上全局部署了基于 PyTorch 的 BERT 模型。通过从 GPU 迁移到 Inferentia，我们能够在获得近似性能的前提下将成本降低 69%。为 AWS Inferentia 编译和测试我们的模型只用了不到三周的时间。使用 Amazon SageMaker 将我们的模型部署到 Inf1 实例可确保我们的部署具有可扩展性且易于管理。当我第一次分析编译的模型时，AWS Inferentia 的性能令人印象深刻，我实际上不得不重新运行基准测试以确保它们是正确的！我们计划未来将我们的图像广告处理模型迁移到 Inferentia。我们已经对这些模型的基于 GPU 的可比较实例进行了基准测试，其延迟降低了 30%，成本节省了 71%。”

Amazon Advertising 应用科学家 Yashal Kanungo

阅读新闻博客 »

“Amazon Alexa 的 AI 和基于 ML 的智能技术由 Amazon Web Services 提供支持，目前已在 1 亿多台设备上提供。我们向客户承诺，Alexa 将始终致力于变得更智能、更对话化、更主动、更令人满意。实现这一承诺需要持续改进响应时间和机器学习基础设施成本，因此我们很高兴使用 Amazon EC2 Inf1 实例来降低 Alexa 文字转语音的推理延迟和每次推理成本。借助 Amazon EC2 Inf1 实例，我们将能够为每月使用 Alexa 的数千万客户提供更好的服务。”

Tom Taylor，Amazon Alexa 高级副总裁

“我们持续地创新，以进一步改善客户体验并压低我们的基础设施成本。将基于 Web 的问答 (WBQA) 工作负载从基于 GPU 的 P3 实例迁移到基于 AWS Inferentia 的 Inf1 实例不仅帮助我们将推理成本降低了 60%，还将端到端延迟减少了超过 40%，由此通过 Alexa 增强了客户的问答体验。在将 Amazon SageMaker 用于我们基于 Tensorflow 的模型后，切换到 Inf1 实例的流程变得更加直接和易于管理。现在，我们在全球使用 Inf1 实例运行这些 WBQA 工作负载，并持续优化其用在 AWS Inferentia 中的性能以进一步降低成本，减少延迟。”

Eric Lind，Alexa AI 软件开发工程师

“Amazon Prime Video 使用计算机视觉 ML 模型分析直播活动的视频质量，以确保 Prime Video 会员获得最佳观看体验。我们在 EC2 Inf1 实例上部署了我们的图像分类 ML 模型，并能够获得 4 倍的性能改进和高达 40% 的成本节省。我们现在希望利用这些节省的成本来创新和构建先进的模型，以便检测更复杂的缺陷，如音频和视频文件之间的同步差距，从而为 Prime Video 会员提供更强的观看体验。”

Victor Antonino，Amazon Prime Video 解决方案架构师

“Amazon Rekognition 是一种简单的图像和视频分析应用程序，可帮助客户识别物体、人、文本和活动。Amazon Rekognition 需要高性能的深度学习基础设施，以便可以每天为客户分析数十亿图像和视频。使用基于 AWS Inferentia 的 Inf1 实例运行对象分类之类的 Rekognition 模型，与在 GPU 上运行这些模型相比，可将延迟降低 8 倍，将吞吐量提高 2 倍。根据这些结果，我们将 Rekognition 移动到 Inf1，从而使我们的客户能够更快地获取准确结果。”

Rajneesh Singh，Rekognition and Video 的软件工程总监

定价

* 所示价格适用于美国东部（弗吉尼亚北部）AWS 区域。一年期和三年期预留实例的价格适用于“部分预付费用”付款方式或“无预付费用”（针对没有“部分预付费用”选项的实例）。

Amazon EC2 Inf1 以按需实例、预留实例或 Spot 实例的形式在美国东部（弗吉尼亚北部）和美国西部（俄勒冈）AWS 区域推出。

开始使用

使用 Amazon SageMaker

Amazon SageMaker 使您能够轻松在生产环境中编译您训练好的机器学习模型并将其部署到 Amazon Inf1 实例上，以便开始以低延迟生成实时预测。AWS Neuron 是 AWS Inferentia 的编译器，它与 Amazon SageMaker Neo 集成，使您能够编译经过训练的机器学习模型，以便在 Inf1 实例上以最佳方式运行。借助 Amazon SageMaker，您可以轻松在跨多个可用区的 Inf1 实例的 auto-scaling 集群上运行您的模型，以交付高性能和高可用性实时推理。通过 Github 上的示例了解如何使用 Amazon SageMaker 部署到 Inf1。

使用 AWS Deep Learning AMI

AWS Deep Learning AMI (DLAMI) 可以为机器学习从业人员和研究人员提供基础设施和各种工具，从而加快在云中进行任意规模的深度学习的速度。AWS Neuron 开发工具包预安装在 AWS Deep Learning AMI 中，可在 Inf1 实例上以最佳方式编译和运行您的机器学习模型。为了帮助指导您完成入门流程，请访问 AMI 选择指南和更多深度学习资源。请参阅 AWS DLAMI 入门指南，了解如何将 DLAMI 与 Neuron 配合使用。

使用 Deep Learning Containers

现在，开发人员可以在 Amazon Elastic Kubernetes Service（EKS，完全托管的 Kubernetes 服务）以及 Amazon Elastic Container Service（ECS，Amazon 的完全托管容器编排服务）中部署 Inf1 实例。详细了解如何在 Amazon EKS 上开始使用 Inf1，或者如何开始使用 Amazon ECS。有关在 Inf1 实例上运行容器的更多详细信息，请参阅 Neuron 容器工具教程页面。AWS DL Container 中也预装了 Neuron。