AWS Trainium
AWS Trainium est l'accélérateur de machine learning (ML) de deuxième génération qu'AWS a spécialement conçue pour la formation deep learning de plus de 100 milliards de modèles de paramètres. Chaque instance Trn1 d'Amazon Elastic Compute Cloud (EC2) déploie jusqu'à 16 accélérateurs AWS Trainium afin d'offrir une solution performante et peu coûteuse pour la formation deep learning (DL) dans le cloud. Bien que l'utilisation de deep learning s'accélère, de nombreuses équipes de développement sont limitées par des budgets fixes, ce qui plafonne la portée et la fréquence de la formation nécessaire pour améliorer leurs modèles et applications. Les instances EC2 Trn1 basées sur Trainium résolvent ce problème en accélérant le temps de formation tout en permettant de réduire jusqu'à 50 % le coût de la formation par rapport aux instances Amazon EC2 comparables. Trainium a été optimisé pour la formation au traitement du langage naturel, à la vision par ordinateur et aux modèles de recommandation utilisés dans un large éventail d'applications, comme la synthèse de texte, la génération de code, la réponse à des questions, la génération d'images et de vidéos, la recommandation et la détection des fraudes.
Avantages
Conçu pour l'entraînement deep learning de haute performance
Chaque accélérateur Trainium comprend deux NeuronCores de deuxième génération, spécialement conçus pour les algorithmes deep learning. Pour prendre en charge le parallélisme efficace des données et des modèles, chaque accélérateur Trainium dispose de 32 Go de mémoire à large bande passante, fournit jusqu'à 190 TFLOPS de puissance de calcul FP16/BF16 et est doté de NeuronLink, une technologie d'interconnexion non bloquante intra-instance à très haut débit.
Optimisé pour les modèles de pointe
Trainium a un support natif pour une large gamme de types de données (FP32, TF32, BF16, FP16, UINT8, et FP8 configurable). Il prend en charge l'arrondi stochastique accéléré par le matériel, afin d'offrir de hautes performances et une plus grande précision par rapport aux modes d'arrondi traditionnels. Trainium fournit également un support pour le flux de contrôle et les opérateurs personnalisés écrits en C++ afin de fournir une infrastructure flexible et évolutive répondant à vos besoins de formation.
Prise en charge native des cadres et bibliothèques ML
Le kit SDK AWS Neuron, qui prend en charge Trainium, est intégré de manière native à PyTorch et TensorFlow. Ainsi, vous pouvez continuer à utiliser vos flux de travail existants dans ces cadres populaires et démarrer avec Trainium en modifiant seulement quelques lignes de code. Pour la formation de modèles distribués, le SDK Neuron prend en charge des bibliothèques telles que Megatron-LM et PyTorch Fully Sharded Data Parallel (FSDP). Pour démarrer rapidement avec les instances EC2 Trn1 alimentées par Trainium, consultez les exemples de modèles populaires dans la documentation Neuron.
Kit SDK AWS Neuron
AWS Neuron est un SDK composé d'un compilateur, d'un moteur d'exécution et d'outils de profilage que vous pouvez utiliser pour exécuter une formation haute performance sur des instances Amazon EC2 Trn1 alimentées par AWS Trainium. En utilisant Neuron, vous pouvez utiliser vos flux de travail existants dans des cadres populaires, tels que TensorFlow et PyTorch, et vous entraîner de manière optimale sur des instances EC2 Trn1 avec des modifications minimales du code. Neuron est livré préinstallé dans les AMI AWS Deep Learning (DLAMI) et dans AWS Deep Learning Containers, ce qui simplifie la prise en main des instances Trn1.
AWS Inferentia
AWS Inferentia est un accélérateur d'inférence de ML conçu par AWS pour offrir des performances élevées et un faible coût d'inférence de ML dans le cloud. Les instances Inf1 Amazon EC2 basées sur les accélérateurs AWS Inferentia offrent un débit jusqu'à 2,3 fois plus élevé et un coût par inférence jusqu'à 70 % inférieur à celui des instances Amazon EC2 comparables.
