O Amazon SageMaker AI agora oferece suporte a imagens indexadas por SOC para começar tarefas de treinamento em segundos
Hoje, o Amazon SageMaker AI anuncia o suporte para imagens de contêiner indexadas pelo Seekable OCI (SOCI) para tarefas de treinamento e processamento, para que suas tarefas comecem a executar seu código mais cedo. Imagens indexadas pelo SOCI iniciam os contêineres de treinamento do Amazon SageMaker AI em segundos, reduzindo o tempo ocioso da GPU durante a extração de imagens em até 90%, sem impacto no desempenho do treinamento. Antes que um trabalho de treinamento ou processamento possa ser executado, o SageMaker AI baixa sua imagem de contêiner para a instância. Para imagens de aprendizado profundo, que normalmente excedem 10 GB, esse download adiciona minutos ao início de cada trabalho, e você paga por esse tempo. Agora, quando sua imagem inclui um índice do SOCI, o SageMaker AI carrega a imagem lentamente, buscando somente os arquivos necessários para iniciar o contêiner e transmitindo o restante em segundo plano enquanto seu código é executado.
Para usar esse recurso, faça referência a uma imagem indexada pelo SOCI de um repositório privado do Amazon ECR em seu trabalho de treinamento ou processamento. Você pode usar um contêiner pré-indexado do Aprendizado Profundo da AWS Deep alterando a tag da imagem para sua variante -soci ou adicionar um índice do SOCI à sua própria imagem no Amazon ECR com ferramentas de código aberto, sem reconstruir a imagem. Nenhuma alteração na definição do trabalho, no ponto de entrada ou nos canais de dados é necessária. O SageMaker AI verifica automaticamente se há um índice e imagens sem um download de índice, como antes. Se um índice não puder ser usado, o trabalho volta para um download padrão e continua em execução.
As imagens indexadas pelo SOCI para tarefas de treinamento e processamento do SageMaker AI estão disponíveis hoje em todas as regiões da AWS em que o SageMaker AI está disponível, por meio das APIs, CLIs, SDKs e Console do SageMaker AI. Para saber mais, consulte a documentação para tarefas de treinamento e tarefas de processamento, ou leia o blog de lançamento.