Amazon SageMaker HyperPod 現在支援解耦式預填與解碼
Amazon SageMaker HyperPod 現在支援 Disaggregated Prefill and Decode (DPD)，這是一項推論最佳化功能，可將大型語言模型 (LLM) 推論的兩個階段 ── 預填和解碼 ── 分離到專用的 GPU 集區，並使用 GPU-Direct RDMA 透過 Elastic Fabric Adapter (EFA) 在兩者之間傳輸鍵值 (KV) 快取。在正式環境中將 LLM 用於聊天助理、代理程式管道、擷取增強生成以及長文件分析的客戶，需要在混合流量下維持一致的每字符延遲和可預測的輸送量；但當預填與解碼共用同一個 GPU 時，單一長內容請求就可能使每個並行請求的字符生成停滯，並迫使客戶過度佈建其中一個階段以保護另一個階段。
有了 DPD，客戶可在一組 GPU 上執行受運算限制的預填，並在另一組 GPU 上執行受記憶體頻寬限制的解碼，因此這兩個階段不再爭用相同資源。這可在持續並行下提供更一致的每字符延遲、在嚴格延遲 SLO 下更高的有效輸送量，以及可獨立擴展預填和解碼容量的能力，以符合工作負載的輸入與輸出分佈。智慧型路由器會自動將長內容請求導向解耦路徑，並將較短的提示詞直接傳送至解碼器，因此客戶可讓真正需要此功能的流量受益，同時無需為短提示詞承擔傳輸額外負荷。客戶可透過在 HyperPod Inference Operator 上已用於推論端點的同一個 `InferenceEndpointConfig` 自訂資源中新增 `pdSpec` 區段來啟用 DPD，而 DPD 也可與 HyperPod 現有的 KV 快取卸載和智慧型路由功能搭配使用。
DPD 適用於在所有支援 Amazon SageMaker HyperPod 的 AWS 區域中，於具備 EFA 功能的執行個體類型上使用 EKS 協調器的 SageMaker HyperPod 叢集。若要了解詳情，請參閱 Amazon SageMaker AI 開發人員指南中的 HyperPod 推論的分離式預填和解碼。