亚马逊AWS官方博客

使用 Amazon EC2 Inf2 实例运行大语言模型 GPT-J-6B

在 2019 年的 AWS re:Invent 上,亚马逊云科技发布了 Inferentia 芯片和 Inf1 实例,Inferentia 是一种高性能机器学习推理芯片,由 AWS 定制设计:其目的是提供具有成本效益的大规模低延迟预测。时隔四年,2023 年 4 月亚马逊云科技发布了 Inferentia2 芯片和 Inf2 实例,旨在为大型模型推理提供技术保障。本文将介绍如果使用 Inf2 实例运行 GPT-J-6B 模型。