SageMaker HyperPod ora supporta la pianificazione basata sulla topologia delle attività LLM
La governance delle attività di SageMaker HyperPod ora supporta la Pianificazione consapevole della topologia, consentendo ai data scientist di pianificare le attività del modello linguistico di grandi dimensioni (LLM) su una topologia di rete ottimale che riduce al minimo le comunicazioni di rete e migliora l'efficienza dell'addestramento.
Le attività di addestramento e ottimizzazione LLM distribuite su più istanze di calcolo accelerato scambiano frequentemente grandi quantità di dati tra di loro. Gli hop di rete multipli tra le istanze possono comportare una maggiore latenza di comunicazione, con un impatto sulle prestazioni delle attività LLM. La governance delle attività di SageMaker HyperPod ora consente ai data scientist di utilizzare le informazioni sulla topologia di rete durante la pianificazione delle attività con preferenze topologiche specifiche. Utilizzando la topologia di rete in HyperPOD, la governance delle attività di SageMaker HyperPod pianifica automaticamente le attività in posizioni ottimali, riducendo la comunicazione da istanza a istanza e migliorando l'efficienza dell'addestramento.
La governance delle attività di SageMaker HyperPod è disponibile in tutte le regioni AWS in cui è accessibile HyperPod: Stati Uniti occidentali (California settentrionale), Stati Uniti occidentali (Oregon), Asia Pacifico (Singapore), Asia Pacifico (Sydney), Europa (Francoforte), Europa (Irlanda), Europa (Stoccolma).
Per saperne di più, consulta la pagina web di SageMaker HyperPod e la documentazione sulla governance delle attività di SageMaker HyperPod.