Publié le: Jul 17, 2018
Amazon SageMaker prend désormais en charge le mode d'entrée Pipe pour les conteneurs TensorFlow intégrés Le mode d'entrée Pipe permet la diffusion en streaming des données directement depuis Amazon Simple Storage Service (Amazon S3) vers le conteneur TensorFlow sur l'instance d'entraînement, à l'aide de la construction d'ensembles de données TensorFlow.
Cette fonctionnalité assure des temps de démarrage plus rapides pour les tâches d'entraînement, un meilleur débit et un espace disque moins utilisé, réduisant ainsi encore davantage les coûts liés à l'entraînement du modèle sur Amazon SageMaker. À titre d'exemple, dans nos tests internes réalisés au début de cette année lorsque nous avons lancé le mode d'entrée Pipe pour les algorithmes Amazon Sagemaker intégrés, les temps de démarrage ont réduit de jusqu'à 87 % sur l'ensemble de données d'entraînement de 78 Go, avec un débit deux fois plus rapide dans certains tests, entraînant une réduction de jusqu'à 35 % du temps total d'entraînement.
Avant l’introduction du mode d'entrée Pipe, les données étaient chargées depuis Amazon S3 vers les volumes Amazon Elastic Block Store (Amazon EBS) attachés à vos instances d’entraînement en utilisant le mode d'entrée File, ce qui nécessitait de l'espace disque pour stocker à la fois les artefacts de votre modèle et votre ensemble de données d’entraînement complet. Le mode d'entrée File peut toujours être utile pour les tâches d'entraînement exécutant plusieurs époques avec des ensembles de données qui tiennent totalement en mémoire. Les deux modes d'entrée couvrent ensemble un certain spectre de cas d'utilisation, des petites tâches d'entraînement expérimentales aux tâches d'entraînement distribuées de plusieurs pétaoctets.
Le mode d'entrée Pipe pour les conteneurs TensorFlow dans Amazon SageMaker est désormais disponible dans les régions AWS suivantes : USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), UE (Irlande), UE (Francfort), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul) et Asie-Pacifique (Sydney). Consultez la documentation Amazon SageMaker pour plus d'informations.