Amazon SageMaker AI 宣布推出用于推理的 P5e 和 G6e 实例

发布于: 2024年12月11日

我们很高兴地宣布，Amazon SageMaker 上全面推出推理优化型 G6e 实例（由 NVIDIA L40S Tensor Core GPU 提供支持）和 P5e（由 NVIDIA H200 Tensor Core GPU 提供支持）。

ml.p5e.48xlarge 实例在 8 个 NVIDIA H200 GPU 上拥有 1128GB 高带宽 GPU 内存、30TB 本地 NVMe SSD 存储、192 个 vCPU 和 2TiB 系统内存，可为计算密集型 AI 推理工作负载提供卓越的性能，例如具有 100B+ 个参数的大型语言模型、多模态基础模型、合成数据生成以及包括问答、代码生成、视频和图像生成在内的复杂生成式 AI 应用程序。

ml.g6e 实例由 8 个 NVIDIA L40S Tensor Core GPU（每个 GPU 具有 48GB 内存）和第三代 AMD EPYC 处理器提供支持，与 ml.g5 实例相比，ml.g6e 实例的性能可提升高达 2.5 倍。客户可以使用 ml.g6e 实例，为具有高达 13B 个参数的大型语言模型 (LLM) 运行 AI 推理，还能用于生成图像、视频和音频的扩散模型。

ml.p5e 和 ml.g6e 实例现在可以在美国东部（俄亥俄州）和美国西部（俄勒冈州）的 SageMaker 上使用。要开始使用，只需通过 AWS 服务配额申请提高限额即可。有关这些实例的定价信息，请访问我们的定价页面。有关使用 SageMaker 部署模型的更多信息，请参阅此处的概述和此处的文档。要进一步了解有关这些实例的一般信息，请访问 P5e 和 G6e 产品页面。