Le istanze Trn2 di Amazon EC2 sono disponibili al pubblico
Oggi AWS rende disponibile al pubblico le istanze Trn2 di Amazon Elastic Compute Cloud (Amazon EC2) e l'anteprima di Trn2 UltraServers, alimentati da chip AWS Trainium2. Disponibili tramite i blocchi di capacità EC2, le istanze Trn2 e UltraServers sono le più potenti soluzioni di calcolo EC2 per il deep learning e l'addestramento tramite IA generativa e l'inferenza.
Puoi utilizzare le istanze Trn2 per addestrare e implementare i modelli di fondazione più esigenti, tra cui modelli di linguaggio ampio (LLM), modelli multimodali, trasformatori di diffusione e altro ancora per creare un'ampia gamma di applicazioni IA. Per ridurre i tempi di addestramento e garantire tempi di risposta straordinari (latenza per token) per i modelli più esigenti e all'avanguardia, potrebbero essere necessari più calcoli e memoria di quelli che può fornire una singola istanza. Trn2 UltraServers è un'offerta EC2 completamente nuova che utilizza NeuronLink, un tessuto a elevata larghezza di banda e bassa latenza, per connettere 64 chip Trainium2 su 4 istanze Trn2 in un nodo consentendo prestazioni senza precedenti. Per inferenza, le istanze UltraServer aiutano a fornire tempi di risposta leader di settore per la creazione delle migliori esperienze in tempo reale. Per addestramento, le istanze UltraServer aumentano la velocità e l'efficienza dell'addestramento dei modelli grazie a una comunicazione collettiva più rapida per il parallelismo dei modelli rispetto alle istanze autonome.
Le istanze Trn2 sono dotate di 16 chip Trainium2 per fornire fino a 20,8 petaflop di calcolo FP8, 1,5 TB di memoria a elevata larghezza di banda con 46 TB/s di larghezza di banda di memoria e 3,2 Tbps di rete EFA. Le istanze UltraServer Trn2 sono dotate di 64 chip Trainium2 per fornire fino a 83,2 petaflop di calcolo FP8, 6 TB di memoria totale a elevata larghezza di banda con 185 TB/s di larghezza di banda di memoria totale e 12,8 Tbps di rete EFA. Entrambe vengono implementate negli EC2 UltraClusters, garantendo capacità di scala petabit senza blocchi per l'addestramento distribuito. Le istanze Trn2 sono generalmente disponibili nella dimensione trn2.48xlarge nella regione AWS Stati Uniti orientali (Ohio) tramite i blocchi di capacità EC2 per ML.
Per saperne di più sulle istanze Trn2 e richiedere l'accesso alle istanze Trn2 UltraServer, vai alla pagina delle istanze Trn2.