Publié le: Nov 1, 2017
La version Apache MXNet 0.12 est désormais disponible, et comporte deux nouvelles fonctions importantes : la prise en charge des GPU NVIDIA Volta et des tenseurs Sparse Tensor.
Prise en charge de l'architecture GPU NVIDIA Volta
La version MXNet v0.12 prend en charge les GPU NVIDIA Volta V100, ce qui permet aux clients de former des réseaux de neurones convolutifs jusqu'à 3,5 fois plus vite que sur les GPU Pascal. L'architecture GPU Volta lance les cœurs Tensor, qui permettent une formation en précision mixte. Grâce à cette précision mixte des cœurs Tensor, les utilisateurs peuvent atteindre des performances optimales sans sacrifier la précision, en utilisant FP16 pour la plupart des couches d'un réseau, et des types de données de meilleure précision uniquement lorsque cela s'avère nécessaire. Vous pouvez profiter des cœurs Tensor de Volta pour permettre la formation FP16 dans MXNet en envoyant une commande simple.
Nous avons récemment annoncé un nouvel ensemble d'AMI d'apprentissage profond AWS qui est préinstallé dans plusieurs infrastructures d'apprentissage profond, dont MXNet v0.12, optimisé pour les GPU NVIDIA Volta V100 dans la nouvelle famille d'instances Amazon EC2 P3. Vous pouvez démarrer d'un simple clic à partir de l'AWS Marketplace ou suivre ce guide étape par étape pour vous lancer avec votre premier bloc-notes.
Prise en charge des tenseurs Sparse Tensor
MXNet v0.12 prend en charge les tenseurs Sparse Tensor afin de stocker et calculer de manière efficace les tenseurs, ce qui permet aux développeurs d'effectuer des opérations de matrice creuse d'une manière efficace en termes de stockage et de calcul, et de former plus rapidement des modèles d'apprentissage profond. Cette version prend en charge deux formats de données principaux : CSR (stockage compact par lignes) et RSP. Le format CSR est optimisé pour représenter des matrices comportant un grand nombre de colonnes dans lesquelles chaque ligne comporte seulement quelques éléments différents de zéro. Le format RSP est optimisé pour représenter des matrices comportant un grand nombre de lignes dans lesquelles la plupart des tranches de lignes sont nulles. Cette version prend en charge les matrices creuses sur l'UC pour les opérateurs les plus courants, par exemple les opérateurs dans le domaine des produits et éléments scalaires. La prise en charge des matrices creuses pour un plus grand nombre d'opérateurs sera ajoutée dans les versions à venir.
Suivez ces didacticiels pour apprendre à utiliser les nouveaux opérateurs de la fonction sparse dans MXNet.