Instances AWS EC2 Trn3

Les Trn3 UltraServers, alimentés par des puces AWS Trainium3, offrent des performances jusqu’à 4,4 fois supérieures, une bande passante mémoire 3,9 fois plus élevée et des performances par watt 4 fois supérieures à celles de nos Trn2 UltraServers. Sur Amazon Bedrock, Trainium3 est l’accélérateur le plus rapide, offrant des performances jusqu’à 3 fois plus rapides que Trainium2. Cette amélioration remarquable des performances se traduit également par un débit nettement plus élevé pour les modèles comme GPT-OSS servant à l’échelle par rapport aux instances basées sur Trainium2, tout en maintenant une faible latence par utilisateur.

Chaque Trn3 UltraServer peut augmenter verticalement jusqu’à 144 puces Trainium3, et les nouveaux racks offrent une densité de puces deux fois supérieure à celle de Trn2, ce qui augmente le calcul par rack et améliore l’efficacité des centres de données. Les Trn3 UltraServers sont basés sur AWS Nitro System et Elastic Fabric Adapter (EFA), et sont déployés dans des systèmes EC2 UltraClusters 3.0 non bloquants à l’échelle de plusieurs pétabits, ce qui vous permet de mettre à l’échelle jusqu’à des centaines de milliers de puces Trainium pour un entraînement et un service distribués.

Poursuivant l’héritage de Trainium en matière de performances, les instances Trn3 offrent un meilleur rapport prix/performances que les accélérateurs d’IA traditionnels, ce qui vous permet de réduire le coût par jeton et le coût par expérience. L’augmentation du débit des charges de travail comme GPT-OSS et les LLM à l’échelle frontière réduit les coûts d’inférence et les temps d’entraînement pour vos modèles les plus exigeants.

Les puces AWS Trainium3, nos premières puces d’IA 3 nm, sont optimisées pour offrir les meilleurs avantages économiques en matière de jetons pour les applications agentiques, de raisonnement et de création de vidéos de nouvelle génération. Les Trn3 UltraServers offrent une efficacité énergétique quatre fois supérieure à celle des Trn2 UltraServers et sur Amazon Bedrock.  En service dans le monde réel, Trn3 génère plus de 5 fois plus de jetons de sortie par mégawatt que Trn2 UltraServer tout en maintenant une latence similaire par utilisateur, ce qui vous permet d’atteindre vos objectifs de durabilité sans compromettre les performances.

Les Trn3 UltraServers sont alimentés par AWS Neuron, la suite de développement pour AWS Trainium et AWS Inferentia. Vous pouvez donc exécuter du code PyTorch et JAX existant sans modifier le code.

TNeuron prend en charge les bibliothèques de machine learning populaires comme vLLM, Hugging Face Optimum Neuron, PyTorch Lightning, TorchTitan, et s’intègre à des services comme Amazon SageMaker, Amazon SageMaker HyperPod, Amazon EKS, Amazon ECS, AWS Batch et AWS ParallelCluster.

Chaque puce AWS Trainium3 fournit 2,52 PFLOP FP8 de calcul, et les Trn3 UltraServers peuvent augmenter verticalement jusqu’à 144 puces Trainium3, fournissant jusqu’à 362 PFLOP FP8 de calcul FP8 total dans un seul UltraServer. Cette enveloppe de calcul haute densité est conçue pour entraîner et exploiter des transformateurs à l’échelle frontière, des modèles de mélange d’experts et des architectures à contexte long.

AWS Trainium3 offre à la fois une capacité de mémoire et une bande passante supérieures par rapport à la génération précédente, chaque puce offrant 144 Go de HBM3e et 4,9 To/s de bande passante mémoire. Le UltraServer Trn3 fournit jusqu’à 20,7 To de HBM3e et 706 To/s de bande passante mémoire agrégée, ce qui permet des tailles de lots plus importantes, des fenêtres contextuelles étendues et une meilleure utilisation pour les très grands modèles multimodaux, vidéo et de raisonnement.

Les Trn3 UltraServers apportent NeuronSwitch-V1, une structure tout-en-un qui double la bande passante d’interconnexion entre puces sur les Trn2 UltraServers, améliorant ainsi l’efficacité du modèle parallèle et réduisant les frais de communication pour l’entraînement MoE et parallèle aux tenseurs. Les Trn3 UltraServers prennent en charge jusqu’à 144 puces par UltraServer, soit plus de deux fois plus que les Trn2 UltraServers. Pour l’entraînement distribué à grande échelle, nous déployons des Trn3 UltraClusters 3.0 avec des centaines de milliers de puces Trainium3 dans un seul réseau non bloquant à l’échelle du pétabit.

Trainium3 prend en charge les modes de précision FP32, BF16, MXFP8 et MXFP4, ce qui vous permet d’équilibrer précision et efficacité sur des charges de travail denses et parallèles entre experts. Les moteurs de communication collective intégrés accélèrent la synchronisation et réduisent les frais d’entraînement pour les grands modèles de transformateur, de diffusion et de mélange d’experts, améliorant ainsi le débit d’entraînement de bout en bout à l’échelle.

Les Trn3 UltraServers sont programmés à l’aide du SDK AWS Neuron, qui fournit les bibliothèques de compilation, d’exécution, d’entraînement et d’inférence, ainsi que des outils de développement pour AWS Trainium et AWS Inferentia. Neuron Kernel Interface (NKI) offre un accès de bas niveau au jeu d’instructions Trainium, à la mémoire et à la planification de l’exécution, de sorte que les ingénieurs de performance peuvent créer des noyaux personnalisés et améliorer les performances au-delà des frameworks standard. Neuron Explorer fournit un environnement de profilage et de débogage unifié, retraçant l’exécution du code PyTorch et JAX jusqu’aux opérations matérielles et fournissant des informations exploitables pour les stratégies de partitionnement, l’optimisation du noyau et les exécutions distribuées à grande échelle.