SageMaker HyperPod unterstützt nun die topologiebewusste Planung von LLM-Aufgaben
Die SageMaker HyperPod-Aufgaben-Governance unterstützt nun Topology Aware Scheduling (TAS), wodurch Datenwissenschaftler ihre Aufgaben für große Sprachmodelle (LLM) auf einer optimalen Netzwerktopologie planen können, die die Netzwerkkommunikation minimiert und die Trainingseffizienz verbessert.
LLM-Trainings- und Feinabstimmungsaufgaben, die auf mehrere beschleunigte Instances verteilt sind, tauschen häufig große Datenmengen untereinander aus. Mehrere Netzwerk-Hops zwischen Instances können zu einer höheren Kommunikationslatenz führen, was sich auf die Leistung von LLM-Aufgaben auswirkt. Mit der SageMaker HyperPod-Aufgaben-Governance können Datenwissenschaftler nun Netzwerktopologieinformationen nutzen, wenn sie Aufgaben mit bestimmten Topologiepräferenzen planen. Mithilfe der Netzwerktopologie in HyperPod plant die SageMaker HyperPod-Aufgaben-Governance automatisch Aufgaben an optimalen Standorten, wodurch die Kommunikation zwischen Instances reduziert und die Trainingseffizienz verbessert wird.
Die SageMaker HyperPod-Aufgaben-Governance ist in allen AWS-Regionen verfügbar, in denen HyperPod verfügbar ist: USA West (Nordkalifornien), USA West (Oregon), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Europa (Frankfurt), Europa (Irland), Europa (Stockholm).
Weitere Informationen finden Sie auf der SageMaker HyperPod-Webseite und in der Dokumentation zur SageMaker HyperPod-Aufgaben-Governance.