Publicado: Aug 27, 2019
Agora, o Amazon SageMaker oferece suporte aos sistemas de arquivos do Amazon Elastic File System (Amazon EFS) e do Amazon FSx for Lustre como fontes de dados para treinamento de modelos de machine learning no SageMaker. O Amazon FSx for Lustre é um sistema de arquivos de alta performance, otimizado para cargas de trabalho como machine learning, análises e computação de alta performance. O Amazon EFS oferece um sistema de arquivos simples, escalável e elástico para cargas de trabalho baseadas em Linux para uso com serviços de nuvem AWS e recursos no local. O suporte a esses sistemas de arquivos acelera e simplifica o uso do Amazon SageMaker para treinar modelos com conjuntos de dados. A fonte de dados do sistema de arquivos reduz o tempo de inicialização, eliminando a etapa de download de dados no processo de treinamento e aproveitando os diversos benefícios de performance e throughput do sistema de arquivos para acelerar a execução da tarefa de treinamento.
Até hoje, o Amazon SageMaker fazia download de forma transparente de um conjunto completo de treinamento do Amazon S3 para o armazenamento de arquivos local no início de uma tarefa de treinamento no modo de entrada por arquivo. Agora, com o Amazon FSx for Lustre, os clientes podem acelerar as tarefas de treinamento do modo de arquivo, evitando o tempo do download inicial do Amazon S3. Quando o sistema de arquivos do Amazon FSx for Lustre é vinculado a buckets do Amazon S3, copia automaticamente objetos do Amazon S3 ao sistema de arquivos quando os objetos são acessados pela primeira vez. O mesmo sistema de arquivos do FSx pode ser usado em várias tarefas do SageMaker, evitando o download repetido de objetos comuns.
Além disso, até hoje, os clientes somente podiam usar o Amazon SageMaker com conjuntos de treinamento armazenados no Amazon S3. Agora, os clientes também podem usar conjuntos de treinamento armazenados no Amazon EFS. O Amazon SageMaker interage diretamente com o Amazon EFS, eliminando a necessidade de copiar conjuntos de dados do Amazon EFS para o Amazon S3 para serem usados pelo Amazon SageMaker.
A maioria dos algoritmos de machine learning incorporados do Amazon SageMaker oferece suporte ao EFS e ao FSx for Lustre como fonte de dados de entrada. Esse recurso está disponível em todas as regiões em que os respectivos sistemas de arquivos são oferecidos. Para obter detalhes sobre a disponibilidade nas regiões, consulte a tabela de regiões da AWS.
Consulte a documentação para obter mais informações e leia a publicação de blog sobre como usar o recurso.