Publié le: Nov 22, 2023
Le connecteur Amazon S3 pour PyTorch fournit un débit élevé pour les tâches de formation PyTorch qui accèdent aux données et les stockent dans Amazon S3. PyTorch est un framework de machine learning open source largement utilisé par les clients AWS pour créer et entraîner des modèles de machine learning. Le connecteur Amazon S3 pour PyTorch optimise automatiquement les demandes de lecture et de liste S3 afin d'améliorer le chargement des données et les performances des points de contrôle pour vos charges de travail de formation. L'enregistrement des points de contrôle du modèle de formation par machine learning est jusqu'à 40 % plus rapide avec le connecteur Amazon S3 pour PyTorch que l'enregistrement dans le stockage d'instance Amazon EC2.
Le connecteur Amazon S3 pour PyTorch fournit une nouvelle implémentation de la primitive de jeux de données de PyTorch que vous pouvez utiliser pour charger des données d'entraînement depuis Amazon S3. Il prend en charge à la fois les ensembles de données de type carte pour les modèles d'accès aux données aléatoires et les jeux de données de style itérable pour les modèles d'accès aux données séquentiels. Le connecteur Amazon S3 pour PyTorch inclut également une interface de pointage permettant d'enregistrer et de charger les points de contrôle directement dans Amazon S3, sans avoir à les enregistrer au préalable sur le stockage local et à écrire du code personnalisé à télécharger sur Amazon S3.
Amazon S3 Connector pour PyTorch est un projet open source. Pour commencer, consultez la page Github.