Amazon SageMaker HyperPod unterstützt jetzt benutzerdefinierte Kubernetes-Labels und -Taints
Amazon SageMaker HyperPod unterstützt jetzt benutzerdefinierte Kubernetes-Labels und -Taints, sodass Kunden die Pod-Planung steuern und sich nahtlos in die bestehende Kubernetes-Infrastruktur integrieren können. Kunden, die KI-Workloads auf HyperPod-Clustern bereitstellen, die mit EKS orchestriert werden, müssen die Workload-Platzierung exakt steuern können, um zu verhindern, dass teure GPU-Ressourcen von System-Pods und Nicht-KI-Workloads verbraucht werden. Gleichzeitig müssen sie die Kompatibilität mit benutzerdefinierten Geräte-Plugins wie EFA- und NVIDIA-GPU-Operatoren sicherstellen. Bisher mussten Kunden Labels und Taints mithilfe von kubectl manuell anwenden und sie nach jedem Knotenaustausch, jeder Skalierung oder jedem Patch-Vorgang erneut anwenden, was zu erheblichem Betriebsaufwand führte.
Mit diesem Feature können Sie Labels und Taints auf Instance-Gruppenebene mit den CreateCluster- und UpdateCluster-APIs konfigurieren, um die Definition und Verwaltung von Planungsrichtlinien über den gesamten Knotenlebenszyklus hinweg zu steuern. Mit dem neuen KubernetesConfig-Parameter können Sie bis zu 50 Labels und 50 Taints pro Instance-Gruppe angeben. Labels ermöglichen die Organisation von Ressourcen und das Pod-Targeting mithilfe von Knoten-Selektoren, und Taints lehnen Pods ohne entsprechende Toleranzen ab, um spezialisierte Knoten zu schützen. Sie können beispielsweise NoSchedule-Taints auf Instance-Gruppen anwenden, um sicherzustellen, dass nur KI-Trainingsjobs mit expliziten Toleranzen teure Rechenressourcen verbrauchen, oder benutzerdefinierte Labels hinzufügen, die eine korrekte Planung der Geräte-Plugin-Pods ermöglichen. HyperPod wendet diese Konfigurationen automatisch bei der Knotenerstellung an und verwaltet sie bei allen Austausch-, Skalierungs- und Patching-Vorgängen, um manuelle Eingriffe zu vermeiden und den Betriebsaufwand zu reduzieren.
Dieses Feature ist in allen AWS-Regionen verfügbar, in denen Amazon SageMaker HyperPod unterstützt wird. Weitere Informationen zu benutzerdefinierten Labels und Taints finden Sie im Benutzerhandbuch.