Publicado: Mar 13, 2024
Agora, o conector do Amazon S3 para PyTorch permite salvar pontos de verificação do modelo PyTorch Lightning diretamente no Amazon S3, melhorando o custo e a performance de trabalhos de treinamento de machine learning. O PyTorch Lightning é uma estrutura de código aberto que fornece uma interface de alto nível para treinamento com o PyTorch. O conector do Amazon S3 para PyTorch otimiza automaticamente as solicitações do S3 para melhorar o carregamento de dados e a performance de pontos de verificação de workloads de treinamento. Salvar pontos de verificação do modelo do PyTorch Lightning é até 40% mais rápido com o conector do Amazon S3 para PyTorch em comparação a salvar no armazenamento de instâncias do Amazon EC2.
O conector do Amazon S3 para PyTorch oferece uma nova implementação da primitiva de ponto de verificação do PyTorch Lightning que você pode usar para salvar pontos de verificação do modelo de machine learning diretamente no Amazon S3. Normalmente, o ponto de verificação do modelo exige a pausa dos trabalhos de treinamento. Portanto, o tempo necessário para salvar um ponto de verificação afeta os tempos gerais de treinamento. Com esta integração, você pode salvar, carregar e excluir pontos de verificação diretamente dos trabalhos de treinamento do PyTorch Lightning para o Amazon S3.
O conector do Amazon S3 para PyTorch é um projeto de código aberto. Para começar a usar, acesse a página do GitHub.