亚马逊AWS官方博客

Category: Compute

使用 Amazon EC2 Inf2 实例运行大语言模型 GPT-J-6B

在 2019 年的 AWS re:Invent 上,亚马逊云科技发布了 Inferentia 芯片和 Inf1 实例,Inferentia 是一种高性能机器学习推理芯片,由 AWS 定制设计:其目的是提供具有成本效益的大规模低延迟预测。时隔四年,2023 年 4 月亚马逊云科技发布了 Inferentia2 芯片和 Inf2 实例,旨在为大型模型推理提供技术保障。本文将介绍如果使用 Inf2 实例运行 GPT-J-6B 模型。

Amazon Compute Optimizer 支持 Amazon Graviton 迁移指南

Amazon Compute Optimizer 如今推出了一项新功能,让您可以利用多个 CPU 架构(包括基于 x86 的实例和基于 Amazon Graviton 的实例)更轻松地优化 EC2 实例。Compute Optimizer 是一项可选服务,可为工作负载推荐最佳 Amazon 资源,通过分析历史利用率指标来降低成本并提高性能。