O Amazon SageMaker HyperPod agora oferece suporte à configuração do ciclo de vida dos nós baseada em AMI para clusters Slurm
O Amazon SageMaker HyperPod agora oferece suporte à configuração baseada em AMI para clusters Slurm que usam provisionamento contínuo. O provisionamento contínuo adiciona nós ao cluster à medida que a capacidade se torna disponível, e esse lançamento estende a configuração baseada em AMI para clusters que usam esse modo. Com esse suporte, clusters usando provisionamento contínuo podem ser criados sem baixar, configurar ou carregar scripts de configuração do ciclo de vida para o Amazon S3.
A configuração baseada em AMI fornece aos nós o software e as configurações necessários para que um ambiente pronto para produção execute workloads de treinamento de AI/ML, incluindo o software necessário, como Docker, Enroot e Pyxis, e configurações como contabilidade Slurm, geração de chaves SSH e rotação de registros. Ao usar o provisionamento contínuo, cada nó é configurado a partir da AMI à medida que é adicionado ao cluster, sem a necessidade de gerenciar scripts de configuração do ciclo de vida, para que os nós fiquem disponíveis para agendar trabalhos mais cedo. Para ativar a configuração baseada em AMI, omita o bloco LifecycleConfig da configuração do grupo de instâncias ao criar clusters usando a API ou ao usar o console do SageMaker AI, selecione “Nenhum” em Scripts de ciclo de vida na Configuração personalizada. Para personalização adicional além da linha de base de configuração baseada em AMI, um script de extensão pode ser fornecido especificando o parâmetro OnInitComplete e sources3URI no bloco LifecycleConfig por meio da API ou fornecendo o URI do S3 no campo “Arquivo de script de extensão no S3" na Configuração personalizada ao usar o console. Os scripts personalizados de configuração do ciclo de vida permanecem totalmente compatíveis com casos de uso que exigem controle total sobre o provisionamento.
A configuração do ciclo de vida dos nós baseada em AMI para clusters Slurm usando provisionamento contínuo está disponível em todas as regiões da AWS onde o SageMaker HyperPod está disponível. Para começar a usar, consulte Introdução ao SageMaker HyperPod usando a CLI da AWS ou Introdução ao SageMaker HyperPod usando o console do SageMaker IA no guia do usuário do SageMaker.