Publié le: Oct 10, 2018
Amazon SageMaker inclut désormais une implémentation améliorée du mode Pipe qui permet d’accélérer le transfert des données d’Amazon Simple Storage Service (S3) vers SageMaker, tout en formant les modèles de Machine Learning (ML). La dernière implémentation du mode Pipe offre un débit de transfert de données jusqu’à 9 fois supérieur au mode Fichier.
Amazon SageMaker prend en charge deux modes de transfert des données de formation : Fichier et Pipe. Avec le mode Fichier, les données de formation sont d’abord téléchargées vers un volume EBS chiffré associé à l’instance de formation avant de former le modèle. Le mode Pipe, quant à lui, permet de transférer directement les données vers l’algorithme de formation en cours d’exécution. Ceci permet d’accélérer les tâches de formation et d’utiliser moins d’espace mémoire sur le disque, avec pour conséquence une baisse des coûts globaux de formation des modèles de Machine Learning sur SageMaker.
Vous pouvez sélectionner le mode qui convient à votre cas d’utilisation en fonction de vos exigences et de votre environnement de travail. Par exemple, si votre volume de données de formation est assez faible pour suffire dans la mémoire et si vous devez exécuter plusieurs époques, il serait recommandé d’utiliser le mode Fichier et de charger l’ensemble du volume de données dans la mémoire. Si vous disposez d’un algorithme entrant/sortant, le mode Pipe vous permettra d’augmenter le débit de transfert des données et de réduire le volume du disque requis.
La dernière implémentation du mode Pipe est prise en charge dans toutes les régions AWS où Amazon SageMaker est disponible. Consultez la documentation d’Amazon SageMaker pour plus d'informations.