Amazon SageMaker HyperPod unterstützt jetzt disaggregiertes Vorfüllen und Dekodieren
Amazon SageMaker HyperPod unterstützt jetzt Disaggregated Prefill and Decode (DPD), eine Inferenzoptimierung, die die beiden Phasen der LLM-Inferenz (Large Language Model), Vorfüllen und Dekodieren, auf dedizierte GPU-Pools aufteilt und den Schlüsselwert-Cache (KV) zwischen ihnen über Elastic Fabric Adapter (EFA) mithilfe von GPU-direktem RDMA überträgt. Kunden, die LLMs in der Produktion für Chat-Assistenten, Agenten-Pipelines, Generierung durch Abruf und Analyse langer Dokumente einsetzen, benötigen eine konsistente Latenz pro Token und einen vorhersehbaren Durchsatz bei gemischtem Datenverkehr. Wenn jedoch Prefill und Decodierung dieselbe GPU verwenden, kann eine einzige Long-Context-Anfrage die Token-Generierung für jede gleichzeitige Anfrage zum Stillstand bringen und Kunden dazu zwingen, eine Phase zu überfordern, um die andere zu schützen.
Mit DPD führen Kunden auf einem GPU-Satz rechengebundenes Prefill und auf einem anderen die speicherbandbreitengebundene Decodierung durch, sodass die beiden Phasen nicht mehr um dieselben Ressourcen konkurrieren. Dies bietet eine konsistentere Latenz pro Token bei anhaltender Parallelität, einen höheren Goodput bei SLOs mit strikter Latenz und die Möglichkeit, die Kapazität zum Vorfüllen und Dekodieren unabhängig voneinander zu skalieren, um sie an die Eingabe- und Ausgabeverteilung des Workloads anzupassen. Ein intelligenter Router leitet Anfragen mit langem Kontext automatisch über den disaggregierten Pfad weiter und sendet kürzere Eingabeaufforderungen direkt an den Decoder, sodass Kunden die Vorteile des Datenverkehrs nutzen können, der sie benötigt, ohne bei kurzen Prompts den Übertragungsaufwand zu zahlen. Kunden aktivieren DPD, indem sie derselben benutzerdefinierten Ressource „InferenceEndpointConfig“, die sie bereits für Inferenzendpunkte auf dem HyperPod Inference Operator verwenden, einen „pdSpec“-Abschnitt hinzufügen. DPD kann mit den vorhandenen KV-Cache-Entladungs- und intelligenten Routing-Funktionen auf HyperPod zusammengesetzt werden.
DPD ist für SageMaker HyperPod-Cluster verfügbar mit EKS-Orchestrator auf EFA-fähigen Instance-Typen in allen AWS-Regionen verfügbar, in denen Amazon SageMaker HyperPod verfügbar ist. Weitere Informationen finden Sie unter Disaggregiertes Prefill und Decode für die HyperPod-Inferenz im Amazon SageMaker AI-Entwicklerhandbuch.