Les instances Amazon EC2 Trn2 sont généralement disponibles
AWS annonce aujourd'hui la disponibilité générale des instances Trn2 d'Amazon Elastic Compute Cloud (Amazon EC2) et la version préliminaire des serveurs Trn2 UltraServer, alimentés par des puces AWS Trainium2. Disponibles via les blocs de capacité EC2, les instances et serveurs UltraServers Trn2 sont les solutions de calcul EC2 les plus puissantes pour le deep learning, l’entraînement et l'inférence en matière d'IA générative.
Vous pouvez utiliser les instances Trn2 pour former et déployer les modèles de fondation les plus exigeants, notamment les grands modèles de langage (LLM), les modèles multimodaux, les transformateurs de diffusion, etc., afin de créer un large éventail d'applications d'IA. Pour réduire les temps d'entraînement et fournir des temps de réponse révolutionnaires (latence par jeton) pour les modèles les plus performants et les plus performants, vous pourriez avoir besoin de plus de calcul et de mémoire qu'une seule instance ne peut en fournir. Trn2 UltraServers est une toute nouvelle offre EC2 qui utilise NeuronLink, une structure à bande passante élevée et à faible latence, pour connecter 64 puces Trainium2 sur 4 instances Trn2 en un seul nœud, offrant ainsi des performances inégalées. Concernant l’inférence, les serveurs UltraServer contribuent à fournir des temps de réponse parmi les meilleurs du secteur afin de créer les meilleures expériences en temps réel. Pour l’entraînement, les serveurs UltraServer améliorent la vitesse et l'efficacité de l'entraînement des modèles grâce à une communication collective plus rapide pour le parallélisme des modèles par rapport aux instances autonomes.
Les instances Trn2 sont dotées de 16 puces Trainium2 permettant de fournir jusqu'à 20,8 pétaflops de calcul FP8, une mémoire à bande passante élevée de 1,5 To avec 46 To/s de bande passante mémoire et 3,2 Tbit/s de réseau EFA. Les serveurs Trn2 UltraServers sont dotés de 64 puces Trainium2 pour fournir jusqu'à 83,2 pétaflops de calcul FP8, 6 To de mémoire totale haut débit avec 185 To/s de bande passante mémoire au total et 12,8 Tbit/s de réseau EFA. Ces deux modèles sont déployés dans EC2 UltraClusters afin de fournir des capacités d'évolutivité non bloquantes en pétabit pour l’entraînement distribué. Les instances Trn2 sont généralement disponibles dans la taille trn2.48xlarge dans la région AWS USA Est (Ohio) via des blocs de capacité EC2 pour le machine learning.
Pour en savoir plus sur les instances Trn2 et demander l'accès aux serveurs Trn2 UltraServer, rendez-vous sur la page des instances Trn2.