Publié le: May 24, 2018
Vous pouvez maintenant exécuter vos tâches d’entrainement avec les algorithmes Amazon SageMaker intégrés jusqu'à 35 % plus rapidement en utilisant le mode d'entrée Pipe. En utilisant le mode d'entrée Pipe, votre tâche d’entrainement transmet les données directement depuis Amazon Simple Storage Service (Amazon S3) vers le conteneur d'algorithme sur les instances d’entrainement, afin d’accélérer les temps de démarrage des tâches d’entrainement et d’augmenter le débit. Par exemple, les tests de performance (benchmark) indiquent que les temps de démarrage ont diminué de 10 minutes sur un fichier de 78 Go, avec un débit deux fois plus élevé sur certains tests.
La plupart des algorithmes Amazon SageMaker sont plus efficaces pour optimiser la vitesse lorsque vous utilisez le format protobuf recordIO optimisé pour les données d'entraînement. L'utilisation de ce format vous permet de tirer profit du mode d'entrée Pipe lors de l'entrainement des algorithmes qui le prennent en charge. Avant l’introduction du mode d'entrée Pipe, toutes vos données étaient chargées depuis Amazon S3 vers les volumes Amazon Elastic Block Store (Amazon EBS) attachés à vos instances d’entrainement en utilisant le mode d'entrée File, ce qui nécessitait de l'espace disque pour stocker à la fois les artefacts de votre modèle final et votre ensemble de données d’entrainement complet. Le mode d'entrée File est toujours recommandé lorsque l'algorithme nécessite plusieurs époques, et que l'ensemble de données d'entrainement est suffisamment petit pour tenir dans la mémoire, mais le mode d'entrée Pipe est plus efficace avec de gros ensembles de données.
Le mode d’entrée Pipe est disponible sur Amazon SageMaker aujourd'hui dans les régions AWS USA Est (Virginie du Nord), USA Est (Ohio), UE (Irlande) et USA Ouest (Oregon). Consultez la documentation pour en savoir plus sur le mode d'entrée Pipe avec les algorithmes Amazon SageMaker choisis, et lisez le billet du blog pour en apprendre d’avantage sur l'utilisation du mode d’entrée Pipe et comparer les tests de performance avec le mode d'entrée File.