Passer au contenu principal

UltraClusters Amazon EC2

Exécutez des applications HPC et ML à grande échelle

Démarrer avec P6e-GB200
Démarrer avec Trn2

Pourquoi utiliser les UltraClusters Amazon EC2 ?

Les UltraClusters Amazon Elastic Compute Cloud (Amazon EC2) permettent une mise à l’échelle à des milliers de GPU ou à des puces AI de ML conçus à cet effet, tels qu’AWS Trainium, pour accéder à la demande à un superordinateur. Il démocratise l'accès à des performances d'un superordinateur pour les développeurs de machine learning (ML), d'IA générative et de calcul haute performance (HPC) grâce à un modèle de tarification à l'usage simple sans aucun coût de configuration ou de maintenance. Les instances Amazon EC2 déployées dans EC2 UltraClusters incluent les instances P6e-GB200, P6-B200, P5en, P5e, P5, P4d, Trn2 et Trn1.

Les UltraClusters EC2 sont composés de milliers d'instances EC2 accélérées qui sont co-localisées dans une zone de disponibilité AWS donnée et interconnectées via le réseau Elastic Fabric Adapter (EFA) dans un réseau non bloquant à l'échelle du pétabit. EC2 UltraClusters donne également accès à Amazon FSx for Lustre, un stockage partagé entièrement géré basé sur le système de fichiers parallèle hautes performances le plus populaire pour traiter rapidement des ensembles de données volumineux à la demande et à grande échelle avec des latences inférieures à la milliseconde. Les UltraClusters EC2 fournissent des fonctionnalités de mise à l'échelle horizontale pour l'entraînement distribué de ML et les charges de travail HPC étroitement couplées.

Avantages

Les UltraClusters EC2 vous aident à réduire les temps d'entraînement et de résolution de plusieurs semaines à quelques jours seulement. Cela vous permet d'itérer plus rapidement et de commercialiser plus rapidement vos applications de deep learning (DL), d'IA générative et HPC.
Les UltraClusters EC2 sont composés de milliers d’instances EC2 accélérées qui sont co-localisées dans une zone de disponibilité AWS donnée et interconnectées via le réseau Elastic Fabric Adapter (EFA) dans un réseau non bloquant à l’échelle du pétabit. Ils vous permettent d’accéder à la demande à plusieurs exaflops de calcul accéléré. 
Les UltraClusters EC2 sont pris en charge sur une liste croissante d'instances EC2 et vous permettent de choisir la bonne option de calcul pour optimiser les performances tout en maîtrisant les coûts de votre charge de travail.

Fonctions

Mise en réseau haute performance

Les instances EC2 déployées dans les UltraClusters EC2 sont interconnectées au réseau EFA afin d'améliorer les performances des charges de travail d'entraînement distribuées et des charges de travail HPC étroitement couplées. Les UltraServers P6e-GB200 fournissent jusqu’à 28,8 térabits par seconde de réseau EFAv4 au total. Les instances P6-B200 fournissent jusqu’à 3,2 térabits par seconde de réseau EFAv4. Les serveurs Trn2 UltraServers disposent de 12,8 térabits par seconde de réseau EFAv3. Les instances P5en, P5e, P5 et Trn2 fournissent jusqu’à 3 200 Gbit/s ; les instances Trn1 fournissent jusqu’à 1 600 Gbit/s ; et les instances P4d fournissent jusqu’à 400 Gbit/s de réseau EFA. EFA est également couplé à NVIDIA GPUDirect Remote Direct Memory Access (RDMA) (P6-B200, P5en, P5e, P5, P4d) et NeuronLink (Trn2, Trn1) pour permettre une communication d’accélérateur à accélérateur à faible latence entre les serveurs grâce à un contournement du système d’exploitation.

Systèmes à haute performance

EC2 UltraClusters utilise FSx pour Lustre, un système de stockage partagé entièrement géré basé sur le système de fichiers parallèle à haute performance le plus populaire. Avec FSx pour Lustre, vous pouvez traiter rapidement des jeux de données volumineux à la demande et à l'échelle, et fournir des latences inférieures à la milliseconde. Les caractéristiques de faible latence et de haut débit de FSx pour Lustre sont optimisées pour les charges de travail de DL, d'IA générative et HPC sur les UltraClusters EC2. FSx pour Lustre alimente en données les GPU et les puces IA dans les UltraClusters EC2, accélérant ainsi les charges de travail les plus exigeantes. Ces charges de travail incluent l'entraînement sur les grands modèles de langage (LLM), l'inférence par IA générative, le DL, la génomique et la modélisation des risques financiers. Vous pouvez également accéder à un stockage rentable pratiquement illimité avec Amazon Simple Storage Service (Amazon S3).

Instances et UltraServers pris en charge

UltraServer P6e-GB200

Accélérées par le GPU NVIDIA GB200 NVL72, les instances P6e-GB200 dans une configuration UltraServer offrent les meilleures performances d’entraînement et d’inférence d’IA avec GPU sur Amazon EC2.

En savoir plus

Instances P6-B200

Les instances Amazon EC2 P6-B200, accélérées par les GPU NVIDIA Blackwell, offrent des instances hautes performances pour l’entraînement de l’IA, l’inférence et le HPC.

En savoir plus

Instances Trn2 et UltraServers

Animées par les puces IA AWS Trainium2, les instances Trn2 offrent un rapport prix/performances de 30 à 40 % supérieur à celui des instances basées sur des GPU comparables.

En savoir plus

Instances P5en, P5e et P5

Animées par les GPU NVIDIA H200 Tensor Core, les instances P5en et P5e offrent les meilleures performances dans Amazon EC2 pour l’entraînement du ML et les applications HPC. Les instances P5 sont alimentées par des GPU NVIDIA H100 Tensor Core.

En savoir plus

Instances P4d

Alimentées par les GPU NVIDIA A100 Tensor Core, les instances P4D offrent des performances élevées pour l'entraînement de ML et les applications HPC.

En savoir plus

Instances Trn1

Alimentées par les puces IA AWS Trainium, les instances Trn1 sont spécialement conçues pour l’entraînement de ML à haute performance. Elles permettent d'économiser jusqu'à 50 % sur les coûts d'entraînement par rapport aux instances EC2 comparables.

En savoir plus