Publié le: Sep 3, 2019
Les clients Amazon SageMaker peuvent désormais utiliser des systèmes de fichiers Amazon FSx for Lustre plus petits comme sources de données pour les modèles de machine learning de formation. Jusqu'ici, la taille du système de fichiers FSx for Lustre le plus petit qui pouvait être créé était de 3,6 To. Pour les jeux de formations dont la taille est inférieure, les clients peuvent désormais créer et utiliser des systèmes de fichiers de seulement 1,2 To.
Amazon FSx for Lustre est un système de fichiers hautes performances compatible avec les données Amazon S3 et optimisé pour les charges de travail de machine learning, d'analyse et de calcul hautes performances.
Avec FSx for Lustre, les clients accélèrent leurs tâches de formation Amazon SageMaker. Jusqu'à l'annonce de la prise en charge d'Amazon FSx for Lustre le 27 août 2019, Amazon SageMaker téléchargeait de manière transparente un jeu complet de formations d'Amazon S3 vers le stockage de fichiers local à l'entame de la tâche de formation, avec le mode d'entrée File. Désormais, avec Amazon FSx for Lustre, les clients peuvent accélérer leurs tâches de formation en mode File en s'épargnant le temps de téléchargement initial dans Amazon S3. Lorsqu'ils sont associés à Amazon S3, les systèmes de fichiers Amazon FSx for Lustre copient automatiquement les objets d'Amazon S3 vers le système de fichiers lors du tout premier accès aux objets. Le même système de fichiers Amazon FSx for Lustre peut être utilisé pour des tâches de formation Amazon SageMaker itératives exécutées sur les mêmes ensembles de données, évitant ainsi le téléchargement répété d'objets courants. Avec la prise en charge de systèmes de fichiers plus petits, Amazon FSx for Lustre peut désormais être utilisé pour encore plus de charges de travail de machine learning.
Les systèmes de fichiers Amazon FSx for Lustre plus petits sont désormais disponibles dans les régions AWS suivantes : USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), USA Ouest (Californie du Nord), UE (Irlande), UE (Francfort) et Asie-Pacifique (Tokyo). Pour en savoir plus sur la disponibilité régionale, consultez le tableau des régions AWS.
Consultez la documentation pour en savoir plus. Lisez l'article du blog pour plus d'informations sur l'utilisation de la fonction.