Amazon EC2 UltraClusters

EC2 UltraCluster 中部署的 EC2 实例与 EFA 网络互连，以提高分布式训练工作负载和紧密耦合的 HPC 工作负载的性能。P6e-GB200 UltraServers 可提供高达每秒 28.8 太比特的 EFAv4 联网总速度。P6-B200 实例可提供高达每秒 3.2 TB 的 EFAv4 网络速度。Trn2 UltraServers 的 EFAv3 网络速度为每秒 12.8 TB。P5en、P5e、P5 和 Trn2 实例可提供高达 3200 Gbps 的网络带宽；Trn1 实例可提供高达 1600 Gbps 的网络带宽；P4d 实例可提供高达 400 Gbps 的 EFA 网络带宽。EFA 还与 NVIDIA GPUDirect 远程直接内存访问（RDMA）（P6-B200、P5en、P5e、P5、P4d）和 NeuronLink（Trn2、Trn1）相结合，实现了绕过操作系统的服务器之间的低延迟加速器到加速器通信。

EC2 UltraCluster 使用 FSx for Lustre，这是一种基于最流行的高性能并行文件系统构建的完全托管式共享存储。通过 FSx for Lustre，您可以按需快速大规模处理海量数据集，并提供亚毫秒级的延迟。FSx for Lustre 的低延迟和高吞吐量特性针对 EC2 UltraCluster 上的 DL、生成式人工智能和 HPC 工作负载进行了优化。适用于 Lustre 的 FSx 可为 EC2 UltraCluster 中的 GPU 和 AI 芯片持续提供数据，从而加速推进要求最严苛的工作负载。这些工作负载包括大型语言模型（LLM）训练、生成式人工智能推理、DL、基因组学和金融风险建模。您还可以通过 Amazon Simple Storage Service (Amazon S3) 获得几乎无限且经济实惠的存储。

采用 UltraServer 配置的 P6e-GB200 实例由 NVIDIA GB200 NVL72 加速，可提供 Amazon EC2 中最高的 GPU 人工智能训练和推理性能。

由 NVIDIA Blackwell GPU 加速的 Amazon EC2 P6-B200 实例可为人工智能训练、推理和 HPC 提供高性能实例。

Trn2 实例由 AWS Trainium2 人工智能芯片提供支持，与基于 GPU 的同类实例相比，性价比提升多达 30% 到 40%。

P5en 和 P5e 实例由 NVIDIA H200 Tensor Core GPU 提供支持，可以在 Amazon EC2 中为机器学习训练和 HPC 应用程序提供高性能。P5 实例由 NVIDIA H100 Tensor Core GPU 提供支持。

P4d 实例由 NVIDIA A100 Tensor Core GPU 提供支持，可为 ML 训练和 HPC 应用程序提供高性能。

Trn1 实例由 AWS Trainium AI 芯片提供支持，专为高性能机器学习训练而构建。与同类 EC2 实例相比，它们可节省高达 50% 的训练成本。