Publicado: Sep 3, 2019
Agora, clientes do Amazon SageMaker podem usar sistemas de arquivos menores do Amazon FSx for Lustre como fonte de dados para treinamento de modelos de machine learning. Até hoje, o menor sistema de arquivos do FSx for Lustre que era possível criar tinha o tamanho de 3,6 TB. Agora, para conjuntos de treinamento menores que esse tamanho, os clientes podem criar e usar sistemas de arquivos de 1,2 TB.
O Amazon FSx for Lustre é um sistema de arquivos de alta performance que funciona com dados do Amazon S3 e é otimizado para cargas de trabalho como machine learning, análises e computação de alta performance.
Com o FSx for Lustre, os clientes podem acelerar tarefas de treinamento do Amazon SageMaker. Até o anúncio do suporte para o Amazon FSx for Lustre em 27 de agosto de 2019, o Amazon SageMaker fazia download de forma transparente de um conjunto completo de treinamento do Amazon S3 para o armazenamento de arquivos local no início de uma tarefa de treinamento no modo de entrada por arquivo. Agora, com o Amazon FSx for Lustre, os clientes podem acelerar as tarefas de treinamento no modo de arquivo, evitando o tempo do download inicial do Amazon S3. Quando vinculados ao Amazon S3, os sistemas de arquivos do Amazon FSx for Lustre copiam automaticamente objetos do Amazon S3 ao sistema de arquivos quando os objetos são acessados pela primeira vez. O mesmo sistema de arquivos do Amazon FSx for Lustre também pode ser usado para tarefas de treinamento iterativas do Amazon SageMaker executadas nos mesmos conjuntos de dados, evitando o download repetido de objetos comuns. Com o suporte a sistemas de arquivos menores, o Amazon FSx for Lustre já pode ser usado para um número ainda maior de cargas de trabalho de machine learning.
Os sistemas de arquivos menores do Amazon FSx for Lustre estão disponíveis nas seguintes regiões da AWS: Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Oeste dos EUA (Norte da Califórnia), UE (Irlanda), UE (Frankfurt) e Ásia-Pacífico (Tóquio). Para obter detalhes sobre a disponibilidade nas regiões, consulte a tabela de regiões da AWS.
Consulte a documentação para obter mais informações e leia a publicação de blog sobre como usar o recurso.