Amazon SageMaker HyperPod unterstützt jetzt benutzerdefinierte AMIs (Amazon Machine Images) für Slurm-Cluster
Amazon SageMaker HyperPod unterstützt jetzt benutzerdefinierte AMIs für Slurm-orchestrierte Cluster, sodass Kunden Cluster mit vorkonfigurierten, sicherheitsoptimierten Umgebungen bereitstellen können, die ihren spezifischen organisatorischen Anforderungen entsprechen. Kunden, die KI-/ML-Workloads auf HyperPod Slurm-Clustern bereitstellen, benötigen maßgeschneiderte Umgebungen, die strenge Sicherheits-, Compliance- und Betriebsanforderungen erfüllen und gleichzeitig schnelle Cluster-Startzeiten gewährleisten. Oftmals haben sie jedoch mit komplexen Skripten für die Lifecycle-Konfiguration zu kämpfen, die die Bereitstellung verlangsamen und Unstimmigkeiten zwischen den Clusterknoten verursachen.
Diese Funktion ermöglicht es Kunden, auf den leistungsoptimierten Basis-AMIs von HyperPod aufzubauen und gleichzeitig maßgeschneiderte Sicherheitsagenten, Compliance-Tools, proprietäre Bibliotheken und spezielle Treiber direkt in das Image zu integrieren. Dies führt zu schnelleren Startzeiten, verbesserter Zuverlässigkeit und erhöhter Sicherheitskonformität. Sicherheitsteams können Unternehmensrichtlinien direkt in Basisimages integrieren, sodass KI-/ML-Teams vorab genehmigte Umgebungen nutzen können, die die Trainingszeit verkürzen und gleichzeitig die Sicherheitsstandards des Unternehmens erfüllen. Sie können benutzerdefinierte AMIs beim Erstellen neuer HyperPod Slurm-Cluster mithilfe der CreateCluster-API, beim Hinzufügen von Instance-Gruppen mit der UpdateCluster-API oder beim Patchen vorhandener Cluster mit der UpdateClusterSoftware-API angeben. Benutzerdefinierte AMIs müssen unter Verwendung der Public Base-AMIs von HyperPod erstellt werden, um die Kompatibilität mit verteilten Trainingsbibliotheken und Cluster-Verwaltungsfunktionen zu gewährleisten.
Diese Funktion ist in allen AWS-Regionen verfügbar, in denen Amazon SageMaker HyperPod unterstützt wird. Weitere Informationen zum maßgeschneiderten AMI-Support für Slurm-Cluster finden Sie im Amazon SageMaker HyperPod-Benutzerhandbuch.