Publicado: Nov 22, 2023
O conector do Amazon S3 para PyTorch oferece alto throughput para trabalhos de treinamento do PyTorch que acessam e armazenam dados no Amazon S3. O PyTorch é uma estrutura de machine learning de código aberto amplamente usada pelos clientes da AWS para criar e treinar modelos de machine learning. O conector do Amazon S3 para PyTorch otimiza automaticamente as solicitações de leitura e listagem do S3 para melhorar o carregamento de dados e a performance de pontos de verificação de workloads de treinamento. Salvar pontos de verificação do modelo de treinamento de machine learning é até 40% mais rápido com o conector do Amazon S3 para PyTorch do que salvar no armazenamento de instâncias do Amazon EC2.
O conector do Amazon S3 para PyTorch oferece uma nova implementação da primitiva de conjunto de dados do PyTorch que você pode usar para carregar dados de treinamento do Amazon S3. Ele tem suporte para conjuntos de dados em estilo de mapa para padrões aleatórios de acesso a dados e para conjuntos de dados de estilo iterável para padrões sequenciais de acesso a dados. O conector do Amazon S3 para PyTorch também inclui uma interface de ponto de verificação para salvar e carregar pontos de verificação diretamente no Amazon S3, sem necessidade de salvá-los no armazenamento local e escrever código personalizado para carregá-los no Amazon S3.
O conector do Amazon S3 para PyTorch é um projeto de código aberto. Para começar a usar, acesse a página do GitHub.