Amazon SageMaker HyperPod unterstützt jetzt AMI-basierte Knoten-Lifecycle-Konfiguration für Slurm-Cluster mit kontinuierlicher Bereitstellung
Amazon SageMaker HyperPod unterstützt jetzt AMI-basierte Konfiguration für Slurm-Cluster mit kontinuierlicher Bereitstellung. Durch die kontinuierliche Bereitstellung werden dem Cluster Knoten hinzugefügt, sobald Kapazität verfügbar wird. Mit diesem Start wird die AMI-basierte Konfiguration auf Cluster ausgedehnt, die diesen Modus verwenden. Mit dieser Unterstützung können Cluster mit Continuous Provisioning erstellt werden, ohne dass Lifecycle-Konfigurationsskripts heruntergeladen, konfiguriert oder auf Amazon S3 hochgeladen werden müssen.
Die AMI-basierte Konfiguration stellt Knoten mit der Software und den Konfigurationen bereit, die für eine produktionsbereite Umgebung zur Ausführung von KI/ML-Trainingsworkloads erforderlich sind, einschließlich der erforderlichen Software wie Docker, Enroot und Pyxis sowie Konfigurationen wie Slurm-Buchhaltung, SSH-Schlüsselgenerierung und Protokollrotation. Bei Verwendung von Continuous Provisioning wird jeder Knoten über das AMI konfiguriert, sobald er dem Cluster hinzugefügt wird, ohne dass die Lifecycle-Konfigurationsskripts verwaltet werden müssen, sodass Knoten früher für die Planung von Jobs verfügbar sind. Um die AMI-basierte Konfiguration zu aktivieren, lassen Sie den LifecycleConfig-Block in der Instance-Gruppen-Konfiguration weg, wenn Sie Cluster mit der CreateCluster-API erstellen, oder wenn Sie die SageMaker AI-Konsole verwenden, wählen Sie bei „Lifecycle-Skripts“ unter „Benutzerdefiniertes Setup“ die Option „Keine“ aus. Für zusätzliche Anpassungen neben der AMI-basierten Konfigurationsbasislinie kann ein Erweiterungsskript bereitgestellt werden, indem der onInitComplete-Parameter und sources3URI im LifeCycleConfig-Block über die API angegeben oder die S3-URI im Feld „Erweiterungsskriptdatei in S3“ unter „Benutzerdefiniertes Setup“ angegeben wird, wenn die Konsole verwendet wird. Benutzerdefinierte Lifecycle-Konfigurationsskripts werden weiterhin in vollem Umfang für Anwendungsfälle unterstützt, die die vollständige Kontrolle über die Bereitstellung erfordern.
Die AMI-basierte Knoten-Lifecycle-Konfiguration für Slurm-Cluster mit Continuous Provisioning ist in allen AWS-Regionen verfügbar, in denen SageMaker HyperPod verfügbar ist. Informationen zu den ersten Schritten finden Sie unter Erste Schritte mit SageMaker HyperPod mithilfe der AWS-CLI oder Erste Schritte mit SageMaker HyperPod mithilfe der SageMaker AI-Konsole im SageMaker-Benutzerhandbuch.