Amazon SageMaker HyperPod ora supporta il prefill e il decode disaggregati
Amazon SageMaker HyperPod ora supporta Disaggregated Prefill and Decode (DPD), un'ottimizzazione dell'inferenza che separa le due fasi dell'inferenza dei modelli linguistici di grandi dimensioni (LLM), prefill e decode, assegnandole a pool di GPU dedicati, e trasferisce la cache key-value (KV) tra di essi tramite Elastic Fabric Adapter (EFA) utilizzando GPU-Direct RDMA. Se utilizzi LLM in produzione per assistenti di chat, pipeline agentiche, generazione aumentata dal recupero (RAG) e analisi di documenti lunghi, hai bisogno di una latenza per token costante e di un throughput prevedibile in condizioni di traffico misto. Quando però prefill e decode condividono la stessa GPU, una singola richiesta con contesto lungo può bloccare la generazione di token per ogni richiesta simultanea, costringendoti a sovradimensionare una fase per proteggere l'altra.
Con la DPD, puoi eseguire il prefill compute-bound su un set di GPU e il decode memory-bandwidth-bound su un altro, in modo che le due fasi non competano più per le stesse risorse. Questo ti offre una latenza per token più costante in caso di concorrenza sostenuta, un goodput più elevato in presenza di SLO di latenza rigorosi e la possibilità di scalare la capacità di prefill e decode in modo indipendente per adeguarla alla distribuzione di input e output del carico di lavoro. Un router intelligente indirizza automaticamente le richieste con contesto lungo attraverso il percorso disaggregato e invia i prompt più brevi direttamente al decoder; in questo modo ottieni il vantaggio sul traffico che ne ha davvero bisogno, senza sostenere l'overhead di trasferimento per i prompt brevi. Puoi abilitare la DPD aggiungendo una sezione `pdSpec` alla stessa risorsa personalizzata `InferenceEndpointConfig` che già utilizzi per gli endpoint di inferenza sull'HyperPod Inference Operator; inoltre, la DPD è combinabile con le funzionalità esistenti di offloading della cache KV e di routing intelligente esistenti su HyperPod.
La DPD è disponibile per i cluster SageMaker HyperPod che utilizzano l'orchestratore EKS su tipi di istanza compatibili con EFA in tutte le regioni AWS in cui è disponibile Amazon SageMaker HyperPod. Per saperne di più, consulta Disaggregated Prefill and Decode per l'inferenza HyperPod nella Guida per gli sviluppatori di Amazon SageMaker AI.