Amazon SageMaker HyperPod unterstützt jetzt AMI-Versionsverwaltung und automatisches Patching
Amazon SageMaker HyperPod gibt Ihnen jetzt Einblick in die Amazon Machine Image (AMI)-Versionen, die in Ihren Clustern ausgeführt werden, und wendet automatisch Sicherheitspatches an, ohne Ihre Workloads zu unterbrechen. SageMaker HyperPod ist eine speziell entwickelte Infrastruktur für das Training und die Bereitstellung von Foundation Models (Basismodellen) in großem Maßstab. Cluster-Administratoren hatten zuvor nur begrenzte Einblicke in die ausgeführten AMI-Versionen, sodass Abweichungen nur schwer zu erkennen waren. Sicherheitspatches waren ein manueller, reaktiver Prozess, der sich bei langen mehrtägigen Trainingsjobs nur schwer ausführen ließ und bei dem die Gefahr bestand, dass im AMI gebündelte Software wie NVIDIA-Treiber oder CUDA geändert werden konnte. Diese neuen Funktionen von HyperPod helfen Ihnen dabei, Cluster sicher und konsistent zu halten und gleichzeitig die betriebliche Belastung durch manuelles Patching zu verringern.
Mit der AMI-Versionierung können Sie die genaue AMI-Version auf jeder Instance-Gruppe und jedem Knoten im Format der semantischen Versionsverwaltung (major.minor.patch) sehen, Versionsabweichungen schnell erkennen und mithilfe der UpdateClusterSoftware-API zu einer früheren Version zurückkehren – einschließlich des vorherigen NVIDIA-Treibers, CUDA und anderer Software-Stacks. Automatisches Patching ist eine optionale Funktion pro Instance-Gruppe, die nur abwärtskompatible Sicherheitspatches anwendet, wenn Knoten inaktiv werden. So bleiben Ihre laufenden Workloads unterbrechungsfrei und wichtige KI/ML-Pakete wie NVIDIA-Treiber, CUDA-Version und Betriebssystem-Kernel werden nie auf eine andere Haupt- oder Nebenversion aktualisiert. Sie können sie über die CreateCluster- oder UpdateCluster-API aktivieren. Eine neue AMI-Supportrichtlinie veröffentlicht auch Support-Zeitpläne für verschiedene AMI-Versionen, nach deren Ablauf HyperPod die Veröffentlichung von Sicherheitspatches einstellt.
Sowohl AMI-Versionsverwaltung als auch automatisches Patching sind für HyperPod-Cluster verfügbar, die von Amazon EKS orchestriert werden, und zwar in allen AWS-Regionen, in denen SageMaker HyperPod unterstützt wird. Weitere Informationen finden Sie in der HyperPod AMI-Verwaltungsdokumentation und in der neuen HyperPod AMI-Supportrichtlinie.