Amazon SageMaker HyperPod prend désormais en charge le préremplissage et le décodage désagrégés
Amazon SageMaker HyperPod prend désormais en charge le préremplissage et le décodage désagrégés (DDP), une optimisation d’inférence qui sépare les deux phases de l’inférence LLM (grand modèle de langage) - préremplissage et décodage - sur des groupes de GPU dédiés et transfère le cache clé-valeur (KV) entre eux via Elastic Fabric Adapter (EFA) à l’aide de GPU-Direct RDMA. Les clients qui utilisent des LLM en production pour les assistants de chat, les pipelines d’agents, la génération augmentée par extraction et l’analyse de longs documents ont besoin d’une latence constante par jeton et d’un débit prévisible dans un trafic mixte, mais lorsque le préremplissage et le décodage partagent le même GPU, une seule demande contextuelle longue peut bloquer la génération de jetons pour chaque demande simultanée et obliger les clients à surprovisionner une phase pour protéger l’autre.
Avec DPR, les clients exécutent un préremplissage lié au calcul sur un ensemble de GPU et un décodage lié à la bande passante mémoire sur un autre, de sorte que les deux phases ne nécessitent plus les mêmes ressources. Cela permet d’obtenir une latence par jeton plus constante dans le cadre d’une simultanéité prolongée, un débit plus élevé avec des SLO à latence stricte et la possibilité d’adapter la capacité de préremplissage et de décodage indépendamment pour correspondre à la distribution d’entrée et de sortie de la charge de travail. Un routeur intelligent dirige automatiquement les demandes contextuelles longues via le chemin désagrégé et envoie des instructions plus courtes directement au décodeur, afin que les clients puissent bénéficier du trafic qui en a besoin sans avoir à payer de frais de transfert pour les invites courtes. Les clients activent DPD en ajoutant une section `pdSpec` à la même ressource personnalisée `InferenceEndpointConfig` qu’ils utilisent déjà pour les points de terminaison d’inférence sur l’opérateur d’inférence HyperPod, et DPD est composable avec les caractéristiques existantes de déchargement du cache KV et de routage intelligent sur HyperPod.
DPD est disponible pour les clusters SageMaker HyperPod utilisant l’orchestrateur EKS sur les types d’instances compatibles EFA dans toutes les Régions AWS où Amazon SageMaker HyperPod est disponible. Pour en savoir plus, consultez la section Préremplissage et décodage désagrégés pour l’inférence HyperPod dans le Guide du développeur Amazon SageMaker AI.