Amazon SageMaker HyperPod ora supporta la configurazione del ciclo di vita dei nodi basata su AMI per i cluster Slurm con provisioning continuo
Amazon SageMaker HyperPod ora supporta la configurazione basata su AMI per i cluster Slurm che utilizzano il provisioning continuo. Il provisioning continuo aggiunge nodi al cluster man mano che la capacità si rende disponibile, e questo lancio estende la configurazione basata su AMI ai cluster che utilizzano questa modalità. Grazie a questo supporto, puoi creare cluster che utilizzano il provisioning continuo senza scaricare, configurare o caricare script di configurazione del ciclo di vita su Amazon S3.
La configurazione basata su AMI esegue il provisioning dei nodi con il software e le configurazioni necessari per un ambiente pronto per la produzione in cui eseguire carichi di lavoro di addestramento AI/ML, incluso il software richiesto come Docker, Enroot e Pyxis, e configurazioni quali l'accounting di Slurm, la generazione delle chiavi SSH e la rotazione dei log. Quando si utilizza il provisioning continuo, ogni nodo viene configurato a partire dall'AMI man mano che viene aggiunto al cluster, senza dover gestire gli script di configurazione del ciclo di vita, in modo che i nodi diventino disponibili più rapidamente per la pianificazione dei job. Per abilitare la configurazione basata su AMI, ometti il blocco LifeCycleConfig dalla configurazione del gruppo di istanze durante la creazione dei cluster tramite API, oppure seleziona "Nessuno" alla voce "Script del ciclo di vita" in "Configurazione personalizzata" quando utilizzi la console SageMaker AI. Per un'ulteriore personalizzazione rispetto alla baseline della configurazione basata su AMI, puoi fornire uno script di estensione specificando il parametro OnInitComplete e SourceS3Uri nel blocco LifeCycleConfig tramite API, oppure indicando l'URI S3 nel campo "File dello script di estensione in S3" in Configurazione personalizzata quando utilizzi la console. Gli script di configurazione del ciclo di vita personalizzati rimangono completamente supportati per i casi d'uso che richiedono il pieno controllo sul provisioning.
La configurazione del ciclo di vita dei nodi basata su AMI per i cluster Slurm con provisioning continuo è disponibile in tutte le regioni AWS in cui è disponibile SageMaker HyperPod. Per iniziare, consulta la Guida introduttiva a SageMaker HyperPod tramite AWS CLI oppure la Guida introduttiva a SageMaker HyperPod tramite la console SageMaker AI nella guida per l'utente di SageMaker.