Annonce des Amazon EC2 Trn3 UltraServers pour un entraînement à l'IA générative plus rapide et à moindre coût
AWS annonce la disponibilité générale des Amazon Elastic Compute Cloud (Amazon EC2) Trn3 UltraServers optimisés par notre puce d'IA de quatrième génération Trainium3, notre première puce d'IA AWS 3nm spécialement conçue pour offrir les meilleures économies de jetons pour les applications agentiques, de raisonnement et de génération vidéo de nouvelle génération.
Chaque puce AWS Trainium3 fournit 2,52 pétaflops (PFLOP) de calcul FP8, augmente la capacité mémoire de 1,5 fois et la bande passante de 1,7 fois par rapport à Trainium2 pour atteindre 144 Go de mémoire HBM3e et 4,9 To/s de bande passante mémoire. Trainium3 est conçu pour les charges de travail denses et parallèles destinées à des experts, avec des types de données avancés (MXFP8 et MXFP4) et un meilleur équilibre mémoire-calcul pour les tâches en temps réel, multimodales et de raisonnement.
Les Trn3 UltraServers peuvent augmenter verticalement jusqu'à 144 puces Trainium3 (362 FP8 PFLOP au total) et sont disponibles dans EC2 UltraClusters 3.0 pour s'adapter à des centaines de milliers de puces. Un Trn3 UltraServer entièrement configuré fournit jusqu'à 20,7 To de HBM3e et 706 To/s de bande passante mémoire agrégée. Le serveur Trn3 UltraServer de nouvelle génération est doté du NeuronSwitch-V1, une structure tout-en-un qui double la bande passante d'interconnexion entre puces sur le serveur Trn2 UltraServer.
Le Trn3 offre des performances jusqu’à 4,4 fois plus élevées, une bande passante mémoire 3,9 fois plus élevée et des performances/watt 4 fois supérieures à celles de nos Trn2 UltraServers, offrant le meilleur rapport prix/performances pour l’entraînement et la gestion de modèles à l’échelle frontière, notamment l’apprentissage par renforcement, le mélange d’experts (MoE), le raisonnement et les architectures à contexte long. Sur Amazon Bedrock, Trainium3 est notre accélérateur le plus rapide, offrant des performances jusqu'à 3 fois plus rapides que Trainium2 avec plus de 5 fois plus de jetons de sortie par mégawatt avec une latence similaire par utilisateur.
Les nouveaux Trn3 UltraServers sont conçus pour les chercheurs en IA et optimisés par le kit SDK AWS Neuron afin de débloquer des performances révolutionnaires. Grâce à l'intégration native de PyTorch, les développeurs peuvent s'entraîner et déployer sans modifier une seule ligne de code du modèle. Pour les ingénieurs de performance en IA, nous avons permis un accès plus approfondi à Trainium3 afin qu'ils puissent optimiser les performances, personnaliser les noyaux et pousser les modèles encore plus loin. Parce que l'innovation repose sur l'ouverture, nous nous engageons à collaborer avec nos développeurs par le biais d'outils et de ressources open source.