SageMaker 宣布推出用于模型部署的 ml.p4de 实例预览版

ml.p4de.24xlarge 实例每个 GPU 有 80 GB 的内存（总计 640 GB），并支持高达 8 TB 的本地 NVMe 固态硬盘存储。这样您就可以在 SageMaker 上对计算密集型工作负载（例如大型语言模型和生成式 AI 模型）进行高性能机器学习推理。这些实例有 96 个 vCPU、1152 GiB 的实例内存和 400 Gbps 的网络带宽。 

您可以在美国东部（弗吉尼亚州北部）和美国西部（俄勒冈州）使用 ml.P4de 实例。 

要获得预览版的访问权限，只需通过 AWS 服务限额申请提高限额即可。有关这些实例的定价信息，请访问我们的定价页面。有关使用 SageMaker 部署模型的更多信息，请参阅此处的概述和此处的文档。要进一步了解有关 P4dE 实例的一般信息，请访问 P4 产品页面。