SageMaker HyperPod prend désormais en charge la planification tenant compte de la topologie pour les tâches LLM
La gouvernance des tâches de SageMaker HyperPod prend désormais en charge la planification tenant compte de la topologie (TAS), ce qui permet aux scientifiques des données de planifier leurs tâches de grand modèle de langage (LLM) selon une topologie réseau optimale, qui minimise la communication réseau et améliore l'efficacité de la formation.
Les tâches d’entraînement et de réglage du LLM, qui sont distribuées sur plusieurs instances de calcul accéléré échangent fréquemment de gros volumes de données entre elles. Les sauts de réseau à réseau multiples entre les instances peuvent entraîner une latence de communication plus élevée, ce qui a un impact sur les performances des tâches LLM. La gouvernance des tâches pour SageMaker HyperPod permet désormais aux scientifiques des données d'utiliser les informations de topologie du réseau lors de la planification de tâches avec des préférences topologiques spécifiques. Grâce à la topologie du réseau dans HyperPod, la gouvernance des tâches pour SageMaker HyperPod planifie automatiquement les tâches à des emplacements optimaux, réduisant ainsi la communication d'instance à instance et améliorant l'efficacité de la formation.
La gouvernance des tâches pour SageMaker HyperPod est disponible dans toutes les régions AWS où HyperPod est disponible : USA Ouest (Californie du Nord), USA Ouest (Oregon), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Europe (Francfort), Europe (Irlande), Europe (Stockholm).
Pour en savoir plus, consultez la page Web de SageMaker HyperPod et la documentation sur la gouvernance des tâches pour SageMaker HyperPod.