Amazon SageMaker AI 推理现支持 G7 实例

发布于: 2026年7月22日

Amazon SageMaker AI 推理现支持搭载 NVIDIA RTX PRO 4500 Blackwell 服务器版 GPU 的 G7 实例，与上一代 G6 实例相比，AI 推理性能最多提升 4.6 倍，使您能够部署机器学习模型。部署生成式人工智能模型用于生产推理的客户需要高 GPU 吞吐量和内存容量，以便经济高效地服务中大型模型。然而，前代实例通常需要过量配置昂贵的计算资源，或对模型进行量化处理，才能使其适配内存限制。

G7 实例的每个 GPU 提供 32 GB GPU 内存并搭载第五代 Tensor Core，支持高达 700 Gbps 的 EFA 网络带宽（相比 G6 提升 7 倍），以及高达 7.6 TB 的本地 NVMe SSD 存储，用于将大型模型保持在计算资源附近。这些能力使 G7 实例非常适合服务 7B 至 30B 参数规模的模型、图像和视频生成工作负载，以及受益于更高内存带宽和吞吐量的多模型推理端点。您可以通过 SageMaker AI 推理控制台、API 或 SDK 在 G7 实例上部署模型，只需在端点配置中指定 G7 实例类型（例如从 ml.g7.xlarge 到 ml.g7.48xlarge）即可。

用于 SageMaker AI 推理的 G7 实例现已在美国东部（弗吉尼亚北部、俄亥俄州）和美国西部（俄勒冈州）推出。有关这些实例的定价信息，请访问我们的定价页面。