Amazon SageMaker HyperPod unterstützt nun den Amazon EBS CSI-Treiber für persistenten Speicher
Amazon SageMaker HyperPod unterstützt nun den Amazon Elastic Block Store (EBS) Container Storage Interface (CSI)-Treiber, der es Kunden ermöglicht, persistenten Speicher für Machine-Learning-Workloads auf SageMaker HyperPod EKS-Clustern dynamisch bereitzustellen und zu verwalten. Diese Funktion ermöglicht es Kunden, EBS-Volumes über persistente Volume-Ansprüche von Kubernetes zu erstellen, anzuhängen und zu verwalten, wodurch Speicher bereitgestellt wird, der auch nach Pod-Neustarts und Knotenaustausch erhalten bleibt. Kunden, die Trainings- und Inferenz-Workloads einsetzen, benötigen eine flexible Speicherzuweisung bei gleichbleibend hoher Leistung. Bisher war jedoch eine manuelle EBS-Volumenverwaltung außerhalb der Kubernetes-Workflows erforderlich.
Der EBS CSI-Treiber unterstützt Kunden dabei, Volumes dynamisch entsprechend den Modellanforderungen bereitzustellen, die Größe von Volumes ohne Unterbrechung des Dienstes anzupassen und Snapshots für Backups und Wiederherstellungen zu erstellen. Für Trainings-Workloads bietet dies persistenten Speicher für Datensätze, Modell-Checkpoints und gemeinsam genutzte Artefakte. Für Inferenz-Workloads können Kunden Modellspeicher bereitstellen, Caching-Volumes erstellen und die Ereignisprotokollierung verwalten. Die Integration unterstützt sowohl statisches als auch dynamisches Provisioning über Kubernetes-Speicherklassen und optimiert so Speicherkosten und Leistung.
Um zu beginnen, installieren Sie bitte den Amazon EBS CSI-Treiber als EKS-Add-on auf Ihrem HyperPod EKS-Cluster und stellen Sie anschließend EBS-Volumes mithilfe von Standard-Kubernetes-Persistent-Volume-Claims und Speicherklassen bereit. Der EBS-CSI-Treiber verwaltet den gesamten Lebenszyklus von EBS-Volumes, einschließlich Erstellung, Anbindung, Einbindung und Bereinigung. Die Volumenverschlüsselung mit kundenseitig verwalteten KMS-Schlüsseln wird unterstützt, und Volumen können über Standard-Kubernetes-Operationen in ihrer Größe angepasst und gesichert werden.
Diese Funktion ist in allen AWS-Regionen verfügbar, in denen SageMaker HyperPod EKS-Cluster unterstützt werden. Weitere Informationen zum EBS CSI Driver-Support finden Sie im Amazon SageMaker HyperPod-Benutzerhandbuch.