Presentazione di Amazon EC2 Trn3 UltraServers per un addestramento dell'IA generativa più veloce ed economico
AWS rende disponibile al pubblico i server Amazon Elastic Compute Cloud (Amazon EC2) Trn3 UltraServers basati sul chip IA di quarta generazione Trainium3, il primo chip IA di AWS a 3nm, specificamente progettato per garantire la migliore economia dei token nelle applicazioni di nuova generazione: agenti IA, sistemi di ragionamento e generazione video.
Ogni chip AWS Trainium3 offre 2,52 petaflop (PFLOP) di capacità di calcolo FP8, aumenta la capacità di memoria di 1,5 volte e la larghezza di banda di 1,7 volte rispetto a Trainium2, raggiungendo 144 GB di memoria HBM3e e 4,9 TB/s di larghezza di banda di memoria. Trainium3 è progettato per carichi di lavoro sia densi che basati su parallelismo tra esperti, utilizza tipi di dati avanzati (MXFP8 e MXFP4) e offre offre un migliore equilibrio tra memoria e capacità di calcolo per attività in tempo reale, multimodali e di ragionamento.
I server Trn3 UltraServer possono raggiungere fino a 144 chip Trainium3 (per un totale di 362 PFLOP FP8) e sono disponibili in EC2 UltraCluster 3.0 per scalare a centinaia di migliaia di chip. Un Trn3 UltraServer con configurazione completa offre fino a 20,7 TB di memoria HBM3e e 706 TB/s di larghezza di banda di memoria aggregata. Trn3 UltraServer di nuova generazione è dotato di NeuronSwitch-v1, un'infrastruttura di rete all-to-all che offre il doppio della larghezza di banda di interconnessione tra chip rispetto a Trn2 UltraServer.
UltraServer Trn3 offre prestazioni fino a 4,4 volte superiori, larghezza di banda della memoria fino a 3,9 volte superiore ed efficienza energetica (prestazioni/watt) fino a 4 volte migliore rispetto a Trn2 UltraServers, offrendo il miglior rapporto prezzo-prestazioni per addestramento e inferenza di modelli all'avanguardia, inclusi apprendimento per rinforzo, Mixture-of-Experts (MoE), sistemi di ragionamento e architetture con contesto esteso. Su Amazon Bedrock, Trainium3 è l'acceleratore più veloce, offrendo prestazioni fino a 3 volte superiori rispetto a Trainium2 con oltre 5 volte più token di output per megawatt mantenendo una latenza per utente simile.
I nuovi Trn3 UltraServer sono progettati per i ricercatori di IA e basati sull'SDK di AWS Neuron, per ottenere prestazioni eccezionali. Grazie all'integrazione nativa con PyTorch, gli sviluppatori possono effettuare addestramento e implementazione senza modificare alcuna riga di codice del modello. Gli ingegneri specializzati nelle prestazioni AI dispongono di un accesso avanzato a Trainium3 che consente di ottimizzare le prestazioni, personalizzare i kernel e sfruttare al massimo le capacità dei modelli. L'apertura è alla base dell'innovazione: per questo AWS mette a disposizione degli sviluppatori strumenti e risorse open source per favorire collaborazione e sviluppo.