Amazon SageMaker HyperPod agora oferece suporte a pré-preenchimento e decodificação desagregados
O Amazon SageMaker HyperPod agora oferece suporte a pré-preenchimento e decodificação desagregados (DPD), uma otimização de inferência que separa as duas fases da inferência de um grande modelo de linguagem (LLM) — pré-preenchimento e decodificação — em grupos de GPUs dedicados e transfere o cache de chave-valor (KV) entre elas por meio do Elastic Fabric Adapter (EFA) usando RDMA direto da GPU. Os clientes que executam LLMs em produção para assistentes de chat, pipelines de agentes, geração aumentada via recuperação e análise de documentos longos precisam de latência consistente por token e throughput previsível sob tráfego misto. Porém, quando o pré-preenchimento e a decodificação compartilham a mesma GPU, uma única solicitação com contexto longo pode bloquear a geração de tokens para cada solicitação simultânea e obrigar os clientes a superdimensionar uma das fases para proteger a outra.
Com o DPD, os clientes executam o pré-preenchimento, que é limitado por capacidade de computação, em um conjunto de GPUs, e a decodificação, que é limitado por largura de banda de memória, em outro. Assim, as duas fases deixam de competir pelos mesmos recursos. Isso proporciona uma latência por token mais consistente sob concorrência sustentada, maior rendimento em SLOs de latência rigorosos e a capacidade de escalar a capacidade de pré-preenchimento e decodificação de forma independente para corresponder à distribuição de entrada e saída da workload. Um roteador inteligente direciona automaticamente solicitações com contexto longo pelo caminho desagregado e envia prompts curtos diretamente ao decodificador, garantindo que os clientes obtenham o benefício apenas para o tráfego que realmente precisa — sem pagar o custo de transferência em prompts curtos. Os clientes habilitam o DPD adicionando uma seção “pdSpec” ao mesmo recurso personalizado “InferenceEndpointConfig” que já usam para endpoints de inferência no HyperPod Inference Operator. O DPD é compatível e pode ser combinado com os recursos existentes de descarregamento do cache KV e de roteamento inteligente no HyperPod.
O DPD está disponível para clusters do SageMaker HyperPod que usam o orquestrador do EKS em tipos de instância compatíveis com EFA, em todas as regiões da AWS que oferecem o Amazon SageMaker HyperPod. Para saber mais, consulte Disaggregated Prefill and Decode for HyperPod inference no Guia do desenvolvedor do Amazon SageMaker AI.