发布于: Nov 29, 2022
今天，AWS 宣布推出 Amazon Elastic Compute Cloud (Amazon EC2) Inf2 实例的预览版，它旨在为高要求的深度学习 (DL) 推理应用程序在 Amazon EC2 中以最低的成本提供高性能。Inf2 实例由多达 12 个 AWS Inferentia2 提供支持，这是 AWS 设计的第三个 DL 加速器。 与 Inf1 实例相比，Inf2 实例的计算性能提高了 3 倍，吞吐量提高了 4 倍，延迟降低了 10 倍。
您可以使用 Inf2 实例来运行自然语言理解、翻译、视频和图像生成、语音识别、个性化等方面的 DL 应用程序。这些实例经过优化，可以大规模部署复杂的模型，如大型语言模型 (LLM) 和视觉转换器，同时还可以为较小的模型改进 Inf1 实例的性价比优势。为了支持超大的 100B+ 参数模型，Inf2 实例是 Amazon EC2 中的第一个推理优化实例，可通过加速器之间的超高速连接支持横向扩展分布式推理。
Inf2 实例可提供高达 2.3 PetaFLOPS 的 DL 性能，高达 384GB 加速器内存和 9.8TB/s 带宽以及 NeuronLink，一个实例内超高速、非阻塞互连。与 Amazon EC2 中基于 GPU 的实例相比，Inf2 实例的每瓦性能提高达 50%，帮助您实现可持续发展目标。AWS Neuron SDK 在本机集成了热门的 ML 框架，如 PyTorch 和 TensorFlow，因此只需几行代码即可在 Inf2 上部署 DL 应用程序。
要了解更多信息并注册预览版 Inf2 实例，请参阅 Inf2 产品详细信息页面。