Publié le: Mar 13, 2024
Le connecteur Amazon S3 pour PyTorch permet désormais d'enregistrer les points de contrôle du modèle PyTorch Lightning directement dans Amazon S3, améliorant ainsi le coût et les performances de vos tâches de formation en machine learning. PyTorch Lightning est un framework open source qui fournit une interface de haut niveau pour la formation avec PyTorch. Le connecteur Amazon S3 pour PyTorch optimise automatiquement les demandes S3 afin d'améliorer le chargement des données et les performances des points de contrôle pour vos charges de travail de formation. L'enregistrement des points de contrôle du modèle PyTorch Lightning est jusqu'à 40 % plus rapide avec le connecteur Amazon S3 pour PyTorch que l'écriture dans le stockage d'instance Amazon EC2.
Le connecteur Amazon S3 pour PyTorch propose une nouvelle implémentation de la primitive de points de contrôle de PyTorch Lightning, que vous pouvez utiliser pour enregistrer les points de contrôle du modèle de machine learning directement sur Amazon S3. Les points de contrôle du modèle nécessitent généralement de suspendre les tâches de formation, de sorte que le temps nécessaire pour enregistrer un point de contrôle a un impact sur les temps de formation globaux. Grâce à cette intégration, vous pouvez enregistrer, charger et supprimer des points de contrôle directement depuis les tâches de formation de PyTorch Lightning vers Amazon S3.
Le connecteur Amazon S3 pour PyTorch est un projet open source. Pour commencer, consultez la page Github.