Amazon SageMaker HyperPod supporta ora controlli approfonditi dell'integrità per i cluster Slurm con provisioning continuo
Amazon SageMaker HyperPod supporta ora controlli approfonditi dell'integrità per i cluster orchestrati da Slurm creati con provisioning continuo, consentendo di verificare in modo proattivo lo stato degli acceleratori GPU sulle istanze in esecuzione in qualsiasi momento. Il provisioning continuo ti consente di avviare rapidamente l'addestramento e di scalare i gruppi di istanze in modo asincrono, senza errori "tutto o niente"; ora puoi abbinare questa flessibilità a una convalida hardware completa man mano che le istanze diventano operative. Questa capacità risolve una criticità importante: anche un singolo nodo non integro può causare ore di spreco di calcolo e ritardi nei carichi di lavoro critici.
Con i controlli approfonditi dell'integrità, puoi selezionare interi gruppi di istanze o istanze specifiche su cui eseguire test di stress hardware completi e test di connettività, prima di destinare risorse di calcolo a un job. Poiché il provisioning continuo aggiunge nodi worker al cluster Slurm in modo asincrono man mano che la capacità diventa disponibile, puoi eseguire controlli approfonditi dell'integrità su ogni nuovo nodo non appena è online, convalidando l'hardware prima di pianificare i job su di esso e senza interrompere i carichi di lavoro già in esecuzione sui nodi integri. I risultati e l’avanzamento sono visibili sia a livello di gruppo di istanze sia a livello di singola istanza tramite console e API di SageMaker, fornendo visibilità completa su stato GPU, connettività di rete e comunicazione multi-nodo. Le istanze sottoposte ai controlli vengono automaticamente isolate dalla schedulazione dei carichi di lavoro e reintegrate dopo il superamento dei test. Se combinate con la capacità di ripristino automatico dei nodi di HyperPod, le istanze non idonee vengono automaticamente riavviate o sostituite, garantendo la salute del cluster.
Questa funzionalità è disponibile in tutte le regioni in cui è disponibile Amazon SageMaker HyperPod. Per ulteriori informazioni sui controlli approfonditi dell'integrità on demand e sul provisioning continuo, consulta la Guida per l'utente di Amazon SageMaker HyperPod.