Amazon EC2 UltraServers
Formation et inférence à grande échelle de l’IA
Pourquoi choisir les UltraServers Amazon EC2 ?
Les UltraServers Amazon Elastic Compute Cloud (Amazon EC2) sont idéaux pour les clients qui recherchent les meilleures performances d’entraînement et d’inférence en matière d’IA pour des modèles à une échelle de plusieurs milliards de paramètres. Les UltraServers connectent plusieurs instances EC2 à l’aide d’une interconnexion d’accélérateur dédiée, à bande passante élevée et à faible latence, ce qui vous permet de tirer parti d’un maillage d’accélérateurs étroitement couplé entre les instances EC2 et d’accéder à beaucoup plus de calcul et de mémoire que les instances EC2 autonomes.
Les serveurs EC2 UltraServer sont idéaux pour les plus grands modèles qui nécessitent plus de mémoire et de bande passante que ne peuvent fournir les instances EC2 autonomes. La conception d’UltraServer utilise la connectivité de l’accélérateur intra-instance pour connecter plusieurs instances en un seul nœud, ouvrant ainsi la voie à de nouvelles fonctionnalités. À titre d’inférence, les UltraServers contribuent à fournir un temps de réponse de pointe afin de créer les meilleures expériences en temps réel. En matière d’entraînement, les UltraServers augmentent la vitesse et l’efficacité de l’entraînement des modèles grâce à une communication collective plus rapide pour le parallélisme des modèles, par rapport aux instances autonomes. Les serveurs EC2 UltraServers prennent en charge la mise en réseau EFA et, lorsqu’ils sont déployés dans des UltraClusters EC2, permettent un entraînement réparti à l’échelle sur des dizaines de milliers d’accélérateurs sur un seul réseau non bloquant à l’échelle du pétabit. En offrant de meilleures performances pour l’entraînement et l’inférence, les UltraServers accélèrent votre temps de mise sur le marché et vous aident à fournir des applications en temps réel basées sur les modèles de fondation de nouvelle génération les plus performants.
Avantages
Entraîner et déployer des modèles à une échelle de plus de mille milliards de paramètres
Les UltraServers permettent une formation et une inférence efficaces de modèles comportant des centaines de milliards à des milliards de paramètres en reliant un ensemble plus important d’accélérateurs à une interconnexion à bande passante élevée et à faible latence afin de fournir plus de calcul et de mémoire que les instances EC2 autonomes.
Réduction de la latence d’inférence pour les applications en temps réel
Les UltraServers permettent l’inférence en temps réel pour les très grands modèles qui exigent des ressources de mémoire et de bande passante importantes au-delà de ce qu’une seule instance EC2 peut offrir.
Réduction du temps de formation en étendant le parallélisme des modèles à un plus grand nombre d’accélérateurs
Les UltraServers permettent une communication collective plus rapide pour le parallélisme des modèles par rapport aux instances autonomes, pour vous aider à réduire votre temps de formation.
Fonctions
Interconnexion d’accélérateurs dédiée, à bande passante élevée et à faible latence
Vous pouvez lancer des instances dans un UltraServer et tirer parti d’une interconnexion accélératrice dédiée, à bande passante élevée et à faible latence entre ces instances. Les UltraServers permettent d’accéder à un plus grand nombre d’accélérateurs connectés via cette interconnexion dédiée, fournissant ainsi beaucoup plus de calcul et de mémoire sur un seul nœud que les instances EC2 autonomes.
Mise en réseau haute performance
Les UltraServers EC2 déployées dans les UltraClusters EC2 sont interconnectées au réseau EFA à l’échelle du pétabit afin d’améliorer les performances des charges de travail de formation distribuées.
Systèmes à haute performance
Vous pouvez utiliser les UltraServers EC2 conjointement avec des solutions de stockage hautes performances telles qu’Amazon FSx pour Lustre, un stockage partagé entièrement géré et basé sur le système de fichiers parallèle hautes performances le plus populaire. Vous pouvez également utiliser un stockage rentable pratiquement illimité avec Amazon Simple Storage Service (Amazon S3).
Basées sur le Nitro System
Les UltraServers EC2 reposent sur AWS Nitro System, un ensemble étendu de composants qui décharge un grand nombre de fonctions de virtualisation traditionnelles sur du matériel et un logiciel dédiés. Nitro fournit de hautes performances, une haute disponibilité et un niveau de sécurité élevé, tout en réduisant les frais associés à la virtualisation.
Instances prises en charge
Instances Trn2
Alimentées par des puces AWS Trainium2, les instances Trn2 dans une configuration de serveurs Trn2 UltraServer (disponible dans la version préliminaire) vous permettent de faire augmenter verticalement jusqu’à 64 puces Trainium2 connectées à NeuronLink, l’interconnexion dédiée à haute bande passante et à faible latence pour les puces AWS AI. Les serveurs Trn2 UltraServer fournissent des performances exceptionnelles dans Amazon EC2 pour l’apprentissage et l’inférence de l’IA générative.
Instances P6e-GB200
Accélérées par le GPU NVIDIA GB200 NVL72, les instances P6e-GB200 dans une configuration UltraServer vous permettent d’accéder à 72 GPU Blackwell au sein d’un domaine NVLink pour exploiter 360 pétaflops de calcul FP8 (sans dispersion), 13,4 To de mémoire totale à bande passante élevée (HBM3e) et jusqu’à 28,8 térabits par seconde de réseau Elastic Fabric Adapter (EFAv4). Les instances P6e-GB200 ne sont disponibles que dans les UltraServers dont la capacité est comprise entre 8 et 72 GPU.
Avez-vous trouvé les informations que vous recherchiez ?
Faites-nous part de vos commentaires afin que nous puissions améliorer le contenu de nos pages