Amazon SageMaker HyperPod 现已支持分离式预填充与解码功能

发布于: 2026年7月6日

Amazon SageMaker HyperPod 现已支持分离式预填充与解码（DPD）功能，该功能是一种推理优化技术，可将大语言模型（LLM）推理的两个阶段（即预填充和解码阶段）拆分到专用 GPU 池上运行，并通过 Elastic Fabric Adapter（EFA）配合 GPU-Direct RDMA 在池间传输键值（KV）缓存。对于在生产环境中将大语言模型用于聊天助手、智能体管道、检索增强生成和长文档分析的客户而言，需要在混合流量下保持一致的每词元延迟和可预测的吞吐量，但当预填充和解码共享同一 GPU 时，单个长上下文请求可能会阻碍每个并发请求的词元生成，从而迫使客户过度预置一个阶段的资源来保护另一个阶段。

利用 DPD，客户可以在一组 GPU 上运行计算密集型预填充阶段，并在另一组 GPU 上运行内存带宽密集型解码阶段，避免这两个阶段争用相同的资源。这可在持续并发下提供更一致的每词元延迟，在严格的延迟 SLO 下实现更高的吞吐量，并且能够独立扩展预填充和解码容量，以匹配工作负载的输入和输出分布。智能路由器会自动将长上下文请求路由至分离路径，并将短提示词直接发送到解码器，这样一来，客户既能从长请求的分离优化中获益，又不必承担短提示词的传输成本。客户只需在 HyperPod Inference Operator 中用于推理端点的同一“InferenceEndpointConfig”自定义资源中添加“pdSpec”部分，即可启用 DPD；并且 DPD 可与 HyperPod 上现有的 KV 缓存卸载和智能路由功能组合使用。

在提供 Amazon SageMaker HyperPod 的所有 AWS 区域中，DPD 适用于在支持 EFA 的实例类型上使用 EKS 编排工具的 SageMaker HyperPod 集群。要了解更多信息，请参阅《Amazon SageMaker AI 开发人员指南》中的 HyperPod 推理的分离式预填充与解码。