Passa al contenuto principale

Amazon EC2

Amazon EC2 UltraClusters

Esegui applicazioni HPC e ML su larga scala

Inizia a usare P6e-GB200
Inizia a usare Trn2

Perché Amazon EC2 UltraClusters?

Amazon Elastic Compute Cloud (Amazon EC2) UltraClusters consente di scalare fino a migliaia di GPU o chip ML/IA dedicati, come AWS Trainium, per ottenere l'accesso on demand a un supercomputer. Democratizzano l'accesso a prestazioni di supercalcolo per gli sviluppatori di machine learning (ML), IA generativa e calcolo ad alte prestazioni (HPC) attraverso un semplice modello di utilizzo con pagamento in base al consumo senza costi di configurazione o manutenzione. Le istanze Amazon EC2 implementate in UltraClusters EC2 includono istanze P6e-GB200, P6-B200, P5en, P5e, P5, P4d, Trn2 e Trn1.

Gli EC2 UltraClusters sono costituiti da migliaia di istanze EC2 accelerate collocate in una determinata zona di disponibilità AWS e interconnesse tramite la rete Elastic Fabric Adapter (EFA) in una rete non bloccante nell'ordine dei petabit. Gli EC2 UltraCluster forniscono anche l'accesso ad Amazon FSx for Lustre, uno storage condiviso completamente gestito basato sul più popolare file system parallelo ad alte prestazioni per elaborare rapidamente enormi set di dati su richiesta e su larga scala con latenze inferiori al millisecondo. Gli EC2 UltraClusters offrono funzionalità di scalabilità orizzontale per la formazione ML distribuita e carichi di lavoro HPC strettamente accoppiati.

Vantaggi

Gli EC2 UltraClusters riducono i tempi di addestramento e i tempi di soluzione da diverse settimane a pochi giorni. Questo consente di iterare a un ritmo più veloce e di portare sul mercato applicazioni di deep learning (DL), IA generativa e HPC più rapidamente.
Gli EC2 UltraClusters sono costituiti da migliaia di istanze EC2 accelerate collocate in una determinata zona di disponibilità AWS e interconnesse tramite la rete Elastic Fabric Adapter (EFA) in una rete non bloccante nell'ordine dei petabit. Consentono di ottenere l'accesso on demand a diversi exaflop di elaborazione accelerata. 
Gli EC2 UltraClusters sono supportati su un elenco in espansione di istanze EC2 e offrono la flessibilità di scegliere l'opzione di calcolo più adatta per massimizzare le prestazioni e mantenere sotto controllo i costi del carico di lavoro.

Caratteristiche

Rete ad alte prestazioni

Le istanze EC2 implementate in EC2 UltraClusters sono interconnesse con la rete EFA per migliorare le prestazioni per carichi di lavoro di addestramento distribuiti e carichi di lavoro HPC strettamente accoppiati. Gli UltraServer P6e-GB200 offrono fino a 28,8 terabit al secondo di networking EFAv4 totale. Le istanze P6-B200 forniscono fino a 3,2 terabit al secondo di rete EFAv4. Gli UltraServer Trn2 hanno 12,8 terabit al secondo di rete EFAv3. Le istanze P5en, P5e, P5, and Trn2 offrono fino a 3.200 Gbps; le istanze Trn1 offrono fino a 1.600 Gbps e le istanze P4d offrono fino a 400 Gbps di rete EFA. Inoltre, EFA è abbinato a NVIDIA GPUDirect Remote Direct Memory Access (RDMA) (P6-B200, P5en, P5e, P5 e P4d) e NeuronLink (Trn2 e Trn1) per consentire la comunicazione da acceleratore ad acceleratore a bassa latenza tra server con bypass del sistema operativo.

Archiviazione ad alte prestazioni

Gli EC2 UltraClusters utilizzano FSx per Lustre, un'archiviazione condivisa completamente gestito basata sul più diffuso file system parallelo ad alte prestazioni. Con FSx per Lustre, è possibile elaborare rapidamente enormi set di dati on demand e su larga scala, con latenze inferiori al millisecondo. Le caratteristiche di bassa latenza e alto throughput di FSx per Lustre sono ottimizzate per DL, IA generativa e carichi di lavoro HPC su EC2 UltraClusters. FSx per Lustre alimenta le GPU e i chip IA degli EC2 UltraClusters con i dati, accelerando i carichi di lavoro più impegnativi. Questi carichi di lavoro includono addestramento su modelli linguistici di grandi dimensioni (LLM), inferenza dell'IA generativa, DL, genomica e modellazione del rischio finanziario. Inoltre, è possibile accedere a uno spazio di archiviazione economico e virtualmente illimitato con Amazon Simple Storage Service (Amazon S3).

Istanze e UltraServer supportati

Ultraserver P6e-GB200

Accelerate da NVIDIA GB200 NVL72, le istanze P6e-GB200 in una configurazione UltraServer offrono le massime prestazioni di addestramento e inferenza IA tramite GPU in Amazon EC2.

Ulteriori informazioni

Istanze P6-B200

Le istanze P6-B200 di Amazon EC2, basate su GPU NVIDIA Blackwell, offrono istanze ad alte prestazioni per l'addestramento dell'IA, l'inferenza e l'HPC.

Ulteriori informazioni

Istanze Trn2 e UltraServer

Basate sui processori IA AWS Trainium2, le istanze Trn2 offrono un rapporto prezzo/prestazioni dal 30% al 40% migliore rispetto a quelle basate su GPU paragonabili.

Ulteriori informazioni

Istanze P5en, P5e e P5

Le istanze P5en e P5e, basate sulle GPU NVIDIA H200 Tensor Core, offrono le prestazioni superiori in Amazon EC2 per l'addestramento ML e le applicazioni HPC. Le istanze P5 sono basate su GPU NVIDIA H100 Tensor Core.

Ulteriori informazioni

Istanze P4d

Le istanze P4d, basate sulle GPU NVIDIA A100 Tensor Core, offrono prestazioni elevate per l'addestramento ML e le applicazioni HPC.

Ulteriori informazioni

Istanze Trn1

Le istanze Trn1 basate su chip IA AWS Trainium, sono sviluppate appositamente per l'addestramento di ML ad alte prestazioni. Offrono fino al 50% di risparmi sui costi di addestramento rispetto alle istanze EC2 paragonabili.

Ulteriori informazioni