Amazon SageMaker HyperPod unterstützt jetzt die API-gesteuerte Slurm-Konfiguration
Amazon SageMaker HyperPod unterstützt jetzt die API-gesteuerte Slurm-Konfiguration, sodass Sie die Slurm-Topologie und die Konfiguration gemeinsam genutzter Dateisysteme direkt in den APIs zur Cluster-Erstellung und -Aktualisierung oder über die AWS-Konsole definieren können. SageMaker HyperPod unterstützt Sie bei der Bereitstellung robuster Cluster für die Ausführung von Machine Learning (ML)-Workloads und die Entwicklung hochmoderner Modelle wie Large Language Models (LLMs), Diffusionsmodelle und Basismodelle (FMs).
Mit dieser neuen API-gesteuerten Konfiguration können Sie jetzt Slurm-Knotentypen wie Controller, Login und Compute für Cluster-Instance-Gruppen, Zuordnungen von Instance-Gruppe zu Partition und FSx für Lustre- und FSx für OpenZFS-Dateisystem-Mounts pro Instanzgruppe direkt in der Cluster-API-Definition oder über den Abschnitt „Erweiterte Konfiguration“ in der AWS-Konsole angeben. Wenn Sie Partitionsknotenzuordnungen direkt in den nativen Konfigurationsdateien von Slurm ändern, um die Cluster-Ressourcenzuweisungen zu optimieren, können die Partitionsknoten-Konfigurationen von Slurm von der Ansicht in HyperPod abweichen. Eine neue SlurmConfigStrategy auf Clusterebene hilft Ihnen dabei, den Drift mit drei Optionen zu verwalten: Managed, Overwrite und Merge. Mit der Managed-Strategie können Sie Zuordnungen von Instance-Gruppen zu Partitionen vollständig über die API oder die Konsole verwalten. Drifts bei den Partitions-zu-Knoten-Zuordnungen bei Scale-Up- oder Scale-Down-Vorgängen werden automatisch erkannt. Wenn ein Drift erkannt wird, werden Cluster-Updates angehalten, bis Sie das Problem beheben, indem Sie zur Overwrite-Strategie wechseln, um API-definierte Zuordnungen zu erzwingen, zur Merge-Strategie wechseln, um manuelle Anpassungen beizubehalten, oder indem Sie Slurm-Konfigurationen direkt aktualisieren und an HyperPod anpassen.
Die API-gesteuerte Slurm-Konfiguration ist in allen AWS-Regionen verfügbar, in denen SageMaker HyperPod verfügbar ist. Für den Einstieg können Sie die AWS-Managementkonsole, AWS CLI, AWS CloudFormation oder AWS-SDKs verwenden. Weitere Informationen finden Sie in der Dokumentation zu Amazon SageMaker HyperPod zum Erstellen von Clustern mithilfe der Konsole oder der CLI sowie in der API-Referenz für CreateCluster und UpdateCluster.