Publié le: Nov 5, 2018
Les algorithmes intégrés fournis avec Amazon SageMaker prennent désormais en charge le mode Pipe pour les ensembles de données au format CSV. Ceci permet d'accélérer le transfert des données d'Amazon Simple Storage Service (S3) vers SageMaker jusqu'à 40 %, tout en formant les modèles de machine learning (ML). Avec cette nouvelle amélioration, les avantages en termes de performances du mode Pipe sont étendus aux ensembles de données de formation au format CSV, en plus du format protobuf recordIO que nous avons sorti plus tôt cette année.
Amazon SageMaker prend en charge deux modes de transfert des données de formation : Fichier et Pipe. Avec le mode Fichier, les données de formation sont d’abord téléchargées vers un volume EBS chiffré associé à l’instance de formation avant de former le modèle. Le mode Pipe, quant à lui, permet de transférer directement les données vers l'algorithme de formation en cours d'exécution. Ceci permet d'accélérer les tâches de formation et d'utiliser moins d'espace mémoire sur le disque, avec pour conséquence une baisse des coûts globaux de formation des modèles de machine learning sur Amazon SageMaker.
La prise en charge du format CSV avec le mode Pipe est disponible dans toutes les régions AWS dans lesquelles Amazon SageMaker est disponible aujourd'hui. Pour obtenir des informations supplémentaires, consultez cet article de blog.