Publié le: Aug 27, 2019
Amazon SageMaker prend désormais en charge les systèmes de fichiers Amazon Elastic File System (Amazon EFS) et Amazon FSx for Lustre comme sources de données pour la formation de modèles de machine learning sur SageMaker. Amazon FSx for Lustre est un système de fichiers haute performance optimisé pour les charges de travail de machine learning, d’analyse, de calcul haute performance, etc. Amazon EFS fournit un système de fichiers simple, scalable et Elastic pour les charges de travail basées sur Linux à utiliser avec les services du Cloud AWS et les ressources sur site. La prise en charge de ces systèmes de fichiers permet d’accélérer et de simplifier l’utilisation d’Amazon SageMaker pour la formation de modèles à l’aide d’ensembles de données. L’utilisation de systèmes de fichiers comme sources de données réduit les délais de démarrage à travers l’élimination de l’étape de téléchargement des données du processus de formation. Par ailleurs, les divers avantages en termes de performances et de débit du système de fichiers aident à accélérer l’exécution des tâches de formation.
Jusqu’ici, avec le mode d’entrée File, Amazon SageMaker téléchargeait de manière transparente un jeu complet de formations d’Amazon S3 vers le stockage de fichiers local à l’entame de la tâche de formation. Désormais, avec Amazon FSx for Lustre, les clients peuvent accélérer leurs tâches de formation en mode File en s’épargnant le temps de téléchargement initial dans Amazon S3. En cas d’association du système de fichiers Amazon FSx for Lustre aux compartiments Amazon S3, il copie automatiquement les objets d’Amazon S3 vers le système de fichiers lors du tout premier accès aux objets. Vous pouvez également utiliser le même système de fichiers FSx pour plusieurs tâches SageMaker, ce qui vous évite le téléchargement répété d’objets communs.
Jusqu’à ce jour, les clients ne pouvaient utiliser Amazon SageMaker qu’avec des jeux de formations stockés sur Amazon 3S3. Désormais, ils peuvent également utiliser les jeux de formations stockés sur Amazon EFS. Amazon SageMaker interagit directement avec Amazon EFS, ce qui élimine la nécessité de copier les jeux de données d’Amazon EFS vers Amazon S3 en vue de leur utilisation dans Amazon SageMaker.
La plupart des algorithmes de machine learning intégrés à Amazon SageMaker prennent en charge EFS et FSx for Lustre comme sources de données d’entrée. Cette fonction est disponible dans toutes les régions où les systèmes de fichiers respectifs sont disponibles. Pour en savoir plus sur la disponibilité régionale, veuillez consulter le tableau des régions AWS.
Consultez la documentation pour en savoir plus. Lisez l’article du blog pour plus d’informations sur l’utilisation de la fonction.