Amazon SageMaker HyperPod ora supporta il driver CSI di Amazon EBS per l'archiviazione persistente
Amazon SageMaker HyperPod ora supporta il driver di interfaccia di archiviazione container (CSI) di Amazon Elastic Block Store (EBS), permettendo ai clienti di effettuare il provisioning dinamico e gestire l'archiviazione persistente per i carichi di lavoro di machine learning sui cluster EKS di SageMaker HyperPod. Questa capacità consente ai clienti di creare, collegare e gestire volumi EBS attraverso richieste di volumi persistenti di Kubernetes, garantendo un'archiviazione che persiste durante i riavvii dei pod e le sostituzioni dei nodi. I clienti che implementano carichi di lavoro di addestramento e inferenza richiedono un'allocazione flessibile dell'archiviazione mantenendo al contempo prestazioni elevate, ma in precedenza dovevano gestire manualmente i volumi EBS al di fuori dei flussi di lavoro di Kubernetes.
Il supporto dei driver CSI di EBS consente ai clienti di effettuare il provisioning dinamico dei volumi in base ai requisiti del modello, ridimensionare i volumi senza interruzioni del servizio e creare snapshot per il backup e il ripristino. Per i carichi di lavoro di addestramento, questo supporto fornisce un'archiviazione persistente per set di dati, checkpoint del modello e artefatti condivisi. Per i carichi di lavoro di inferenza, i clienti possono effettuare il provisioning dell'archiviazione dei modelli, creare volumi di caching e gestire i log degli eventi. L'integrazione supporta il provisioning sia statico che dinamico tramite le classi di archiviazione Kubernetes, ottimizzando i costi e le prestazioni di archiviazione.
Per iniziare, installa il driver CSI di Amazon EBS come componente aggiuntivo di EKS sul cluster HyperPod EKS, quindi esegui il provisioning dei volumi EBS utilizzando le richieste di volume persistenti e le classi di archiviazione standard di Kubernetes. Il driver CSI di EBS gestisce l'intero ciclo di vita dei volumi EBS, tra cui creazione, collegamento, montaggio e rimozione. È supportata la crittografia dei volumi con chiavi KMS gestite dal cliente, e i volumi possono essere ridimensionati e sottoposti a snapshot tramite le operazioni standard di Kubernetes.
Questa funzionalità è disponibile in tutte le regioni AWS in cui sono supportati i cluster EKS di SageMaker HyperPod. Per ulteriori informazioni sul supporto dei driver CSI di EBS, consulta la guida utente di Amazon SageMaker HyperPod.