Amazon SageMaker HyperPod ahora es compatible con el controlador CSI de Amazon EBS para almacenamiento persistente
Amazon SageMaker HyperPod ahora es compatible con el controlador de la interfaz de almacenamiento en contenedores (CSI) de Amazon Elastic Block Store (EBS). De esta manera, los clientes pueden aprovisionar y administrar de forma dinámica el almacenamiento persistente para las cargas de trabajo de machine learning en los clústeres de EKS de SageMaker HyperPod. Esta capacidad permite a los clientes crear, adjuntar y administrar volúmenes de EBS mediante solicitudes de volúmenes persistentes de Kubernetes. De este modo, se proporciona un almacenamiento que persiste tras el reinicio de pods y los reemplazos de nodos. Los clientes que implementan cargas de trabajo de entrenamiento e inferencia necesitan una asignación de almacenamiento flexible y, al mismo tiempo, mantener un alto rendimiento. Antes, necesitaban una administración manual de volúmenes de EBS fuera de los flujos de trabajo de Kubernetes.
La compatibilidad con el controlador CSI de EBS permite a los clientes aprovisionar volúmenes de forma dinámica según los requisitos del modelo, cambiar el tamaño de los volúmenes sin interrumpir el servicio y crear instantáneas para el respaldo y la recuperación. Para las cargas de trabajo de entrenamiento, esto proporciona almacenamiento persistente para conjuntos de datos, puntos de control de modelos y artefactos compartidos. Para las cargas de trabajo de inferencia, los clientes pueden aprovisionar modelos de almacenamiento, crear volúmenes de almacenamiento en caché y mantener el registro de eventos. La integración admite el aprovisionamiento estático y dinámico a través de las clases de almacenamiento de Kubernetes, lo que optimiza los costos y el rendimiento del almacenamiento.
Para empezar, instale el controlador CSI de Amazon EBS como un complemento de EKS en su clúster de EKS de HyperPod y, a continuación, aprovisione los volúmenes de EBS mediante las clases de almacenamiento y las solicitudes de volúmenes persistentes estándar de Kubernetes. El controlador CSI de EBS administra el ciclo de vida completo de los volúmenes de EBS, incluida la creación, la conexión, el montaje y la limpieza. Se admite el cifrado de volúmenes con claves de KMS administradas por el cliente, y se puede cambiar el tamaño de los volúmenes y crear instantáneas mediante operaciones estándar de Kubernetes.
Esta característica está disponible en todas las regiones de AWS en las que se admiten los clústeres de EKS de SageMaker HyperPod. Para obtener más información sobre la compatibilidad con los controladores CSI de EBS, consulte la Guía del usuario de Amazon SageMaker HyperPod.