Amazon EC2 Inf1 实例

AWS Inferentia 是一种机器学习芯片，由 AWS 自定义设计和打造，旨在以低成本提供高性能推理。每个 AWS Inferentia 芯片提供高达 128TOPS（每秒数万亿次运行）的性能，并且支持 FP16、BF16 和 INT8 数据类型。AWS Inferentia 芯片还具有大量的芯片上内存，可用于缓存大型模型，这对于需要频繁访问内存的模型尤为有利。

AWS Neuron 软件开发工具包 (SDK) 由编译器、运行时和分析工具组成。它支持使用 Inf1 实例执行在常用框架（例如 TensorFlow、PyTorch 和 MXNet）中创建和训练的复杂神经网络模型。AWS Neuron 还支持使用高速物理芯片间互联将大型模型进行拆分，以便在多个 Inferentia 芯片上执行，从而提供高推理吞吐量和更低的推理成本。

对于需要访问高速网络的应用程序，Inf1 实例可提供高达 100Gbps 的联网吞吐量。新一代 Elastic Network Adapter (ENA) 和 NVM Express (NVMe) 技术为 Inf1 实例提供了高吞吐量、低延迟的联网接口和 Amazon Elastic Block Store (Amazon EBS)。

AWS Nitro 系统是丰富的构建块集合，可将许多传统虚拟化功能卸载到专用硬件和软件中，以提供高性能、高可用性和高安全性，同时还可降低虚拟化开销。

“我们将机器学习 (ML) 融入 Snapchat 的很多方面，在此领域探索创新是重中之重。我们一听说 Inferentia 就开始与 AWS 合作采用 Inf1/Inferentia 实例来帮助我们进行 ML 部署，包括性能和成本方面。我们用自己的推荐模型开始，并期待未来将更多模型用于 Inf1 实例。”

Nima Khajehnouri，Snap Inc. 的工程副总裁

Anthem 是美国领先的医疗福利公司之一，他们提供的服务能满足数十个州 4000 多万会员的医疗保健需求。“数字健康平台市场正以惊人的速度增长。由于庞大的客户意见数据及其非结构化性质，在这个市场上收集情报是一项具有挑战性的任务。我们的应用程序通过深度学习的自然语言模型 (Transformers) 自动生成来自客户意见的可操作见解。我们的应用程序属于计算密集型，需要以高性能的方式进行部署。我们无缝地将深度学习推理工作负载部署到由 AWS Inferentia 处理器支持的 Amazon EC2 Inf1 实例。新的 Inf1 实例可为基于 GPU 的实例提供 2 倍吞吐量，使我们能够简化推理工作负载。”

Numan Laanait 博士（首席 AI /数据科学家）和 Miro Mihaylov 博士（首席 AI/数据科学家）

“Autodesk 正在通过使用 Inferentia 来推进我们的人工智能虚拟助手——Autodesk 虚拟代理 (AVA) 的认知技术。AVA 通过应用自然语言理解 (NLU) 和深度学习技术来提取查询背后的上下文、意图和意义，每月解答超过 10 万个客户问题。试用 Inferentia 后，对于 NLU 模型，我们能够获得比 G4dn 高 4.9 倍的吞吐量，并期望在基于 Inferentia 的 Inf1 实例上运行更多的工作负载。”

Binghui Ouyang，Autodesk 高级数据科学家

“Condé Nast 的全球投资组合涵盖了 20 多个领先的媒体品牌，包括《连线》、Vogue 和 Vanity Fair 等。在几周内，我们的团队就能将我们的推荐引擎与 AWS Inferentia 芯片集成。这种联合可以在 SageMaker 的 Inf1 实例上对最先进的自然语言模型进行多种运行时优化。结果，我们发现，与之前部署的 GPU 实例相比，成本降低 72%。”

Paul Fryzel，人工智能基础设施首席工程师

“Ciao 正在将传统的安保摄像头发展成为具有类似于人眼功能的高性能分析摄像头。我们的应用程序采用基于云的 AI 摄像头解决方案在灾难发生前发出提醒，从而提升防灾能力，监测环境条件。此类提醒帮助在事发前对状况做出反应。基于物体检测，我们还可以预估实体店视频中无员工陪同的访客人数以便提供见解。Ciao Camera 在商业上采用基于 AWS Inferentia 的 Inf1 实例，其性价比比搭载 YOLOv4 的 G4dn 高 40%。我们期待在更多服务中使用 Inf1，充分利用其出色的成本效益。”

Shinji Matsumoto，软件工程师，Ciao Inc.

“Asahi Shimbun 是日本最受欢迎的日报之一。Media Lab 作为我们公司的部门之一，肩负研究最新技术（特别是人工智能 (AI)）以及为新业务联系尖端技术的使命。随着基于 Amazon EC2 Inf1 实例的 AWS Inferentia 在东京发布，我们在这些实例上测试了基于 PyTorch 的文本摘要人工智能 (AI) 应用程序。该应用程序处理了大量文本，并生成了在过去 30 年文章上进行训练的头条新闻和摘要句子。使用 Inferentia，我们降低了成本，削减了一个数量级的基于 CPU 的实例。成本的大幅下降让我们可以大规模地部署最复杂的模型，而之前从经济角度考虑，我们认为这是不可行的”

Asahi Shimbun Company，Media Lab，高级管理员 Hideaki Tamori 博士

“CS Disco 是由律师为律师开发的电子取证人工智能 (AI) 解决方案的领先供应商提供商，正在重塑法律技术。Disco 人工智能利用复杂的自然语言处理模型，来更快地梳理 TB 级数、加快审核速度和提高审核准确率，这些模型的计算成本高昂，不划算。Disco 发现，与现在的 GPU 实例相比，基于 AWS Inferentia 的 Inf1 实例将 Disco 人工智能的推理成本至少降低了 35%。基于在 Inf1 实例方面的愉快体验，CS Disco 将探索向 Inferentia 迁移的机会。”

Alan Lockett，CS Disco 研究总监

“在 Talroo，我们为客户提供数据驱动平台，让客户吸引独特的工作候选人，以便他们完成招聘。我们不断探索新技术，以确保为客户提供最好的产品和服务。使用 Inferentia，我们从大量文本数据中提取见解，以提升人工智能 (AI) 支持的搜索匹配技术。Talroo 利用 Amazon EC2 Inf1 实例以 SageMaker 创建高吞吐量自然语言理解模型。Talroo 的初始测试表明，Amazon EC2 Inf1 实例使推理延迟降低了 40%，与 G4dn 基于 GPU 的实例相比，吞吐量提高了两倍。基于这些结果，Talroo 希望在其 AWS 基础设施中使用 Amazon EC2 Inf1 实例。”

Talroo 软件工程师 Janet Hu

数字媒体专业公司 (DMP) 通过基于人工智能 (AI) 的实时 ZIA 平台对未来进行可视化。DMP 高效的计算机视觉分类技术可用于构建对大量实时图像数据的洞察，如状态观察、犯罪预防和事故预防。我们正在积极对 Inf1 实例作替代方案评估，因为我们相信 Inferentia 将为我们提供大规模部署 AI 应用程序所需的性能和成本结构。” 

Hiroyuki Umeda - 数字媒体专业公司 (DMP) 销售与营销部总监兼总经理

Hotpot.ai 可帮助非设计师创建具有吸引力的图形，还可帮助专业设计师自动执行重复的任务。“机器学习是我们策略的核心，我们很乐于尝试基于 AWS Inferentia 的 Inf1 实例。我们发现 Inf1 实例可以很容易地集成到我们的研发管道中。最重要的是，与基于 G4dn GPU 的实例相比，我们体验到了令人印象深刻的性能提升。在我们的第一个模型中，Inf1 实例的吞吐量提高了 45%，每次推理的成本降低了近 50%。我们打算与 AWS 团队密切合作，移植其他模型，并将大部分 ML 推理基础设施转移到 AWS Inferentia。”

Clarence Hu，Hotpot.ai 创始人

“INGA 的使命是创建基于人工智能和深度学习技术的高级文本汇总解决方案，这些解决方案可以轻松集成到当前的业务管道中。我们认为，文本汇总对于帮助企业从数据中获取有意义的见解至关重要。我们快速增加了基于 AWS Inferentia 的 Amazon EC2 Inf1 实例，并将其集成到我们的开发管道中。这一影响是直接且意义重大的。Inf1 实例提供了高性能，使我们能够提高推理模型管道的效率和有效性。开箱即用，与之前基于 GPU 的管道相比，我们的吞吐量提高了 4 倍，整体管道成本降低了 30%。”

Yaroslav Shakula，INGA Technologies 首席业务开发官

“SkyWatch 每天处理从太空捕获的数千亿像素地球观测数据。采用基于 AWS Inferentia 的全新 Inf1 实例，使用 Amazon SageMaker 进行实时云检测和图像质量评分非常迅速且轻松。这一切的关键点在于在部署配置中切换实例类型。通过将实例类型转换为基于 Inferentia 的 Inf1，我们将性能提高了 40%，并将总成本降低了 23%。我们取得了巨大胜利。它使我们能够降低整体运营成本，同时继续以最低的工程开销向客户提供高质量的卫星影像。我们期待着将所有推理终端节点和批处理机器学习流程转移到使用 Inf1 实例，以进一步提高数据可靠性和客户体验。”

Adler Santos，SkyWatch 工程经理

逾 1 亿台 Alexa 设备销往全球各地，客户还为 Amazon 上的 Echo 设备留下了超过 40 万条 5 星好评。Amazon Alexa 高级副总裁 Tom Taylor 表示：“Amazon Alexa 的 AI 和基于 ML 的智能技术由 Amazon Web Services 提供支持，目前已在 1 亿多台设备上提供。我们向客户承诺，Alexa 将始终致力于变得更智能、更对话化、更主动、更令人满意。实现这一承诺需要持续改进响应时间和机器学习基础设施成本，因此我们很高兴使用 Amazon EC2 Inf1 实例来降低 Alexa 文本到语音转换的推理延迟和每次推理成本。借助 Amazon EC2 Inf1 实例，我们将能够为每月使用 Alexa 的数千万客户提供更好的服务。”

“Amazon Rekognition 是一种简单的图像和视频分析应用程序，可帮助客户识别物体、人、文本和活动。Amazon Rekognition 需要高性能的深度学习基础设施，以便可以每天为客户分析数十亿图像和视频。使用基于 AWS Inferentia 的 Inf1 实例运行对象分类之类的 Rekognition 模型，与在 GPU 上运行这些模型相比，可将延迟降低 8 倍，将吞吐量提高 2 倍。根据这些结果，我们将 Rekognition 移动到 Inf1，从而使我们的客户能够更快地获取准确结果。”