Perché utilizzare gli UltraServer di Amazon EC2?
Gli UltraServer di Amazon Elastic Compute Cloud (Amazon EC2) sono ideali per i clienti che cercano le massime prestazioni di addestramento e inferenza IA per modelli su scala di trilioni di parametri. Gli UltraServer collegano più istanze EC2 utilizzando un'interconnessione di acceleratori dedicata, ad alta larghezza di banda e bassa latenza che consente di sfruttare una rete di acceleratori strettamente accoppiati tra le istanze EC2, e di accedere a una quantità di calcolo e di memoria significativamente maggiore rispetto alle istanze EC2 autonome.
Gli UltraServer EC2 sono ideali per i modelli più grandi che richiedono più memoria e una larghezza di banda di memoria maggiore rispetto a quelle fornite dalle istanze EC2 autonome. Il design di UltraServer utilizza la connettività dell'acceleratore intra-istanza per collegare più istanze in un unico nodo, sbloccando nuove funzionalità. Per l'inferenza, gli UltraServer consentono di fornire tempi di risposta leader del settore per creare le migliori esperienze in tempo reale. Per l'addestramento, gli UltraServer aumentano la velocità e l'efficienza dell'addestramento dei modelli, grazie a una comunicazione collettiva più rapida per il parallelismo dei modelli rispetto alle istanze autonome. Gli UltraServer EC2 supportano la rete EFA e, quando implementati in UltraCluster EC2, consentono l'addestramento distribuito con aumento orizzontale su decine di migliaia di acceleratori su una rete non bloccante di una singola scala di petabit. Offrendo prestazioni più elevate sia per l'addestramento che per l'inferenza, gli UltraServer accelerano il time-to-market e consentono di fornire applicazioni in tempo reale basate sui modelli di fondazione più performanti e di nuova generazione.
Vantaggi
Caratteristiche
Istanze supportate
Istanze Trn2
Alimentate dai chip AWS Trainium2, le istanze Trn2 in una configurazione UltraServer Trn2 (disponibile in anteprima) consentono di scalare fino a 64 chip Trainium2 collegati a NeuronLink, l'interconnessione dedicata ad alta larghezza di banda e bassa latenza per i chip di IA AWS. Gli UltraServer Trn2 offrono prestazioni rivoluzionarie in Amazon EC2 per l'addestramento e l'inferenza dell'IA generativa.