Amazon SageMaker HyperPod já oferece suporte ao driver CSI do Amazon EBS para armazenamento persistente
Agora, o Amazon SageMaker HyperPod oferece suporte ao driver CSI (Container Storage Interface) do Amazon Elastic Block Store (EBS), permitindo que os clientes provisionem e gerenciem dinamicamente o armazenamento persistente para workloads de machine learning em clusters de EKS do SageMaker HyperPod. Esse recurso permite que os clientes criem, anexem e gerenciem volumes do EBS por meio de declarações de volume persistente do Kubernetes, fornecendo um armazenamento que persiste em caso de reinicializações de pods e substituição de nós. Os clientes que implantam workloads de treinamento e inferência precisam de alocação de armazenamento flexível, mantendo a alta performance, mas antes exigiam o gerenciamento manual de volumes do EBS fora dos fluxos de trabalho do Kubernetes.
O suporte ao driver CSI do EBS permite que os clientes provisionem dinamicamente os volumes com base nos requisitos do modelo, redimensionem os volumes sem interromper o serviço e criem snapshots para fins de backup e recuperação. Para workloads de treinamento, isso fornece armazenamento persistente para conjuntos de dados, pontos de verificação de modelos e artefatos compartilhados. Para workloads de inferência, os clientes podem provisionar o armazenamento de modelos, criar volumes de cache e manter o registro em log de eventos. A integração oferece suporte ao provisionamento estático e dinâmico por meio de classes de armazenamento do Kubernetes, otimizando os custos e a performance do armazenamento.
Para começar, instale o driver CSI do Amazon EBS como um complemento do EKS em um cluster de EKS do HyperPod e provisione volumes do EBS usando declarações de volume persistente e classes de armazenamento padrão do Kubernetes. O driver CSI do EBS gerencia o ciclo de vida completo dos volumes do EBS, incluindo criação, conexão, montagem e limpeza. Há suporte para criptografia de volume com chaves do KMS gerenciadas pelo cliente e é possível redimensionar e obter snapshots de volumes por meio de operações padrão do Kubernetes.
Esse recurso está disponível em todas as regiões da AWS com suporte para os clusters de EKS do SageMaker HyperPod. Para saber mais sobre o suporte ao driver CSI do EBS, consulte o Guia do usuário do Amazon SageMaker HyperPod.