亚马逊AWS官方博客
宣布推出由 NVIDIA RTX PRO 6000 Blackwell 服务器版 GPU 加速的 Amazon EC2 G7e 实例
今天，我们宣布 Amazon Elastic Compute Cloud（Amazon EC2）G7e 实例正式发布，该实例可为生成式人工智能推理工作负载提供经济高效的性能，并为图形工作负载提供极高的性能。
G7e 实例由 NVIDIA RTX PRO 6000 Blackwell 服务器版 GPU 加速，适用于各类支持 GPU 的工作负载，包括空间计算和科学计算工作负载。与 G6e 实例相比，G7e 实例的推理性能可提升高达 2.3 倍。
与前代产品相比的改进之处：
- NVIDIA RTX PRO 6000 Blackwell GPU — NVIDIA RTX PRO 6000 Blackwell 服务器版的 GPU 内存容量是 G6e 实例的 2 倍，GPU 内存带宽是后者的 1.85 倍。通过使用 G7e 实例提供的更高 GPU 内存，您可以在单个 GPU 上以 FP8 精度运行参数规模最高达 70B 的中型模型。
- NVIDIA GPUDirect P2P — 对于单个 GPU 内存无法承载的超大模型，您可以将模型或计算任务拆分至多个 GPU。G7e 实例支持 NVIDIA GPUDirect P2P，可通过 PCIe 互连实现 GPU 之间的直接通信，从而降低多 GPU 工作负载的延迟。这些实例可为同一 PCIe 交换机上的 GPU 提供极低的对等通信延迟。此外，与搭载 L40s GPU 的 G6e 实例相比，G7e 实例的 GPU 间带宽可提升高达 4 倍，从而提高多 GPU 工作负载的性能。这些改进意味着您可以在多个 GPU 上对更大的模型进行推理，在单个节点中提供高达 768 GB 的 GPU 内存。
- 联网 — G7e 实例提供的网络带宽是 G6e 实例的四倍，这意味着您可以将该实例用于小规模的多节点工作负载。此外，多 GPU G7e 实例支持基于 Elastic Fabric Adapter（EFA）的 NVIDIA GpuDirect 远程直接内存访问（RDMA），从而减少多节点工作负载的远程 GPU 间通信的延迟。这些实例大小还支持基于适用于 Lustre 的 Amazon FSx 的 NVIDIA GPUDirectStorage，与 G6e 实例相比，该实例的吞吐量最多可提高 1.2 Tbps，这意味着您可以快速加载模型。
EC2 G7e 规格
G7e 实例配备多达 8 个 NVIDIA RTX PRO 6000 Blackwell 服务器版 GPU（总内存高达 768 GB，每个 GPU 96 GB 内存）并搭载英特尔 Emerald Rapids 处理器。它们还支持多达 192 个 vCPU、高达 1600 Gbps 的网络带宽、高达 2048 GiB 的系统内存和高达 15.2 TB 的本地 NVMe SSD 存储。
规格如下：
| 实例名称
|
GPU | GPU 内存（GB） | vCPU | 内存（GiB） | 存储空间（TB） | EBS 带宽（Gbps） | 网络带宽（Gbps） |
| g7e.2xlarge | 1 | 96 | 8 | 64 | 1.9 x 1 | 最高 5 | 50 |
| g7e.4xlarge | 1 | 96 | 16 | 128 | 1.9 x 1 | 8 | 50 |
| g7e.8xlarge | 1 | 96 | 32 | 256 | 1.9 x 1 | 16 | 100 |
| g7e.12xlarge | 2 | 192 | 48 | 512 | 3.8 x 1 | 25 | 400 |
| g7e.24xlarge | 4 | 384 | 96 | 1024 | 3.8 x 2 | 50 | 800 |
| g7e.48xlarge | 8 | 768 | 192 | 2048 | 3.8 x 4 | 100 | 1600 |
要开始使用 G7e 实例，您可以使用 AWS Deep Learning AMI（DLAMI） 运行机器学习（ML）工作负载。要运行实例，您可以使用 AWS 管理控制台、AWS 命令行界面（AWS CLI）或 AWS SDK。对于托管式体验，您可以将 G7e 实例与 Amazon Elastic Container Service（Amazon ECS）、Amazon Elastic Kubernetes Service（Amazon EKS）搭配使用。对 Amazon SageMaker AI 的支持功能也即将推出。
现已推出
Amazon EC2 G7e 实例现已在 AWS 区域美国东部（弗吉尼亚州北部）和美国东部（俄亥俄州）推出。有关区域可用性和未来路线图，请在按区域列出的 AWS 功能的 CloudFormation 资源选项卡中搜索实例类型。
您可以购买以按需型实例、节省计划和竞价型实例形式提供的实例。G7e 实例还以专用实例和专属主机的形式提供。要了解更多信息，请访问 Amazon EC2 定价页面。
在 Amazon EC2 控制台中尝试使用 G7e 实例。要了解更多信息，请访问 Amazon EC2 G7e 实例页面，并通过 AWS re:Post for EC2 或您常用的 AWS Support 联系方式发送反馈。
— Channy