AWS Trainium

Les UltraServers Trn3 sont dotés des dernières innovations en matière de technologie UltraServer évolutive, avec NeuronSwitch-v1 pour
des collectifs tout-en-un plus rapides utilisant jusqu’à 144 puces Trainium3. Dans l’ensemble, un seul serveur Trn3 UltraServer fournit
jusqu’à 20,7 To de HBM3e, 706 To/s de bande passante mémoire et 362 FP8 PFLOP, soit 4,4 fois plus
de performances et une efficacité énergétique quatre fois supérieure à celle des UltraServers Trn2. Trn3 fournit les plus hautes
performances au moindre coût pour la formation et l’inférence avec les derniers modèles MoE à paramètres 1T+ et de type de raisonnement, et augmente considérablement le débit pour le GPT-OSS servant à grande échelle par rapport aux instances basées sur
Trainium2.

Les UltraServers Trn2 restent une option performante et rentable pour la formation à l’IA générative et l’inférence de
modèles jusqu’à des paramètres 1T. Les instances Trn2 comportent jusqu’à 16 puces Trainium2 et la fonctionnalité Trn2 UltraServers
jusqu’à 64 puces Trainium2 connectées à NeuronLink, une interconnexion puce à puce propriétaire.

Les instances Trn1 comportent jusqu’à 16 puces Trainium et fournissent jusqu’à 3 PFLOP FP8, 512 Go de HBM avec 9,8 To/s de
bande passante mémoire et jusqu’à 1,6 Tbit/s de réseau EFA.

Conçu pour la recherche et l’expérimentation

AWS Neuron SDK vous permet de tirer pleinement parti des instances Trn3, Trn2 et Trn1 afin que vous puissiez vous concentrer sur la création et le déploiement de modèles tout en accélérant la mise sur le marché. AWS Neuron s’intègre nativement à et PyTorch Jax, ainsi qu’aux bibliothèques essentielles telles que Hugging Face, vLLM, PyTorch Lightning et d’autres. Il optimise les modèles prêts à l’emploi pour l’entraînement et l’inférence distribués, tout en fournissant des informations analytiques détaillées pour le profilage et le débogage. AWS Neuron s’intègre à des services tels qu’Amazon SageMaker, Amazon SageMaker Hyerpod, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS ParallelCluster et AWS Batch, et à des services tiers tels que Ray (Anyscale), Domino Data Lab et Datadog.

Pour fournir des performances élevées tout en atteignant les objectifs de précision, AWS Trainium prend en charge une gamme de niveaux de précision mixtes
de types de données tels que BF16, FP16, FP8, MXFP8 et MXFP4. Pour soutenir le rythme rapide de l’innovation dans le domaine de l’IA générative,
Trainium2 et Trainium3 proposent des optimisations matérielles pour une dispersion 4 fois plus faible (16:4), une micro-mise à l’échelle et une stochastique
arrondi et moteurs collectifs dédiés.

Neuron permet aux développeurs d’optimiser leurs charges de travail à l’aide de l’interface NKI (Neuron Kernel Interface) pour le développement du noyau. NKI expose l’intégralité de Trainium ISA, permettant un contrôle complet de la programmation au niveau des instructions, de l’allocation de mémoire et de la planification de l’exécution. En plus de créer vos propres noyaux, les développeurs peuvent utiliser la bibliothèque Neuron Kernel, qui est open source, prête à déployer des noyaux optimisés. Enfin, Neuron Explore offre une visibilité complète de la pile, en connectant le code des développeurs jusqu’aux moteurs du matériel.