为什么选择 Amazon EC2 P5 实例?
Amazon Elastic Compute Cloud(Amazon EC2)P5 实例由 NVIDIA H100 Tensor Core GPU 提供支持,P5e 实例由 NVIDIA H200 Tensor Core GPU 提供支持,在 Amazon EC2 中为深度学习(DL)和高性能计算(HPC)应用程序提供最高性能。与上一代基于 GPU 的 EC2 实例相比,这些实例可帮助您将问题解决时间缩短多达 4 倍,并将训练机器学习模型的成本降低高达 40%。这些实例可帮助您更快地迭代解决方案,加快上市速度。您可以使用 P5 和 P5e 实例来训练和部署日益复杂的大型语言模型(LLM)和扩散模型,为要求最苛刻的生成式人工智能(AI)应用程序提供支持。这些应用程序包括问题解答、代码生成、视频和图像生成、语音识别。您还可以使用这些实例在药物发现、地震分析、天气预报和财务建模领域大规模部署要求苛刻的 HPC 应用程序。
为了实现这些性能改进和成本节约,与上一代基于 GPU 的实例相比,P5 和 P5e 实例搭配 NVIDIA H100 和 H200 Tensor Core GPU,CPU 性能提高了 2 倍,系统内存提高了 2 倍,本地存储空间增加了 4 倍。这些实例为分布式训练和紧密耦合的 HPC 工作负载提供市场领先的横向扩展功能,使用第二代 Elastic Fabric Adapter(EFAv2)技术实现了高达 3200 Gbps 的网络连接。为了以低延迟提供大规模计算,Amazon EC2 UltraClusters 中部署了 P5 和 P5e 实例,可以纵向扩展到 20000 个 H100 或 H200 GPU。这些实例通过 PB 级的非阻塞网络互连。EC2 UltraClusters 中的 P5 和 P5e 实例可提供高达每秒 20 百万兆级的聚合计算能力,性能相当于一台超级计算机。
Amazon EC2 P5 实例
优势
功能
客户评价
以下是客户和合作伙伴如何利用 Amazon EC2 P4 实例实现业务目标的一些示例。
-
Anthropic
Anthropic 构建了可靠、可解释和可操纵的 AI 系统,这些系统将有许多机会创造商业价值并让公众受益。
-
Cohere
Cohere 是语言人工智能领域的领先先驱,它使每位开发人员和每个企业都能使用世界领先的自然语言处理(NLP)技术构建令人惊叹的产品,同时保持数据的私密性和安全性
-
Hugging Face
Hugging Face 的使命是让出色的 ML 大众化。
产品详细信息
实例大小 | vCPU | 实例内存(TiB) | GPU | GPU 内存 | 网络带宽(Gbps) | GPUDirect RDMA | GPU 对等 | 实例存储(TB) | EBS 带宽(Gbps) |
---|---|---|---|---|---|---|---|---|---|
p5.48xlarge | 192 | 2 | 8 H100 | 640 GB HBM3 |
3200 Gbps EFA | 是 | 900 GB/s NVSwitch | 8 个 3.84 NVMe SSD | 80 |
p5e.48xlarge | 192 | 2 | 8 H200 | 1128GB HBM3e |
3200 Gbps EFA | 是 | 900 GB/s NVSwitch | 8 个 3.84 NVMe SSD | 80 |