UltraServers Amazon EC2

Formation et inférence à grande échelle de l’IA

Pourquoi choisir les UltraServers Amazon EC2 ?

Les UltraServers Amazon Elastic Compute Cloud (Amazon EC2) sont idéaux pour les clients qui recherchent les meilleures performances d’entraînement et d’inférence en matière d’IA pour des modèles à une échelle de plusieurs milliards de paramètres. Les UltraServers connectent plusieurs instances EC2 à l’aide d’une interconnexion d’accélérateur dédiée, à bande passante élevée et à faible latence, ce qui vous permet de tirer parti d’un maillage d’accélérateurs étroitement couplé entre les instances EC2 et d’accéder à beaucoup plus de calcul et de mémoire que les instances EC2 autonomes.

Les serveurs EC2 UltraServer sont idéaux pour les plus grands modèles qui nécessitent plus de mémoire et de bande passante que ne peuvent fournir les instances EC2 autonomes. La conception d’UltraServer utilise la connectivité de l’accélérateur intra-instance pour connecter plusieurs instances en un seul nœud, ouvrant ainsi la voie à de nouvelles fonctionnalités. À titre d’inférence, les UltraServers contribuent à fournir un temps de réponse de pointe afin de créer les meilleures expériences en temps réel. En matière d’entraînement, les UltraServers augmentent la vitesse et l’efficacité de l’entraînement des modèles grâce à une communication collective plus rapide pour le parallélisme des modèles, par rapport aux instances autonomes. Les serveurs EC2 UltraServers prennent en charge la mise en réseau EFA et, lorsqu’ils sont déployés dans des UltraClusters EC2, permettent un entraînement réparti à l’échelle sur des dizaines de milliers d’accélérateurs sur un seul réseau non bloquant à l’échelle du pétabit. En offrant de meilleures performances pour l’entraînement et l’inférence, les UltraServers accélèrent votre temps de mise sur le marché et vous aident à fournir des applications en temps réel basées sur les modèles de fondation de nouvelle génération les plus performants.

Avantages

Caractéristiques

Instances prises en charge

Instances Trn2

Alimentées par des puces AWS Trainium2, les instances Trn2 dans une configuration de serveurs Trn2 UltraServer (disponible dans la version préliminaire) vous permettent de faire augmenter verticalement jusqu’à 64 puces Trainium2 connectées à NeuronLink, l’interconnexion dédiée à haute bande passante et à faible latence pour les puces AWS AI. Les serveurs Trn2 UltraServer fournissent des performances exceptionnelles dans Amazon EC2 pour l’apprentissage et l’inférence de l’IA générative.

En savoir plus