AWS Trainium
AWS Trainium è l’acceleratore di machine learning (ML) di seconda generazione che AWS ha creato appositamente per l'addestramento di deep learning di modelli parametrici 100B+. Ogni istanza Trn1 di Amazon Elastic Compute Cloud (EC2) implementa fino a 16 acceleratori AWS Trainium per fornire una soluzione a basso costo e ad alte prestazioni per l'addestramento di deep learning (DL) nel cloud. Sebbene l'uso del deep learning stia accelerando, molti team di sviluppo sono limitati da budget fissi, il che pone un limite all'ambito e alla frequenza della formazione necessaria per migliorare i propri modelli e applicazioni. Le istanze EC2 Trn1 basate su Trainium risolvono questo problema offrendo un tempo di addestramento più rapido e al contempo un risparmio fino al 50% sui costi rispetto a istanze paragonabili di Amazon EC2. Trainium è stato ottimizzato per addestrare l'elaborazione del linguaggio naturale, la visione artificiale e i modelli di raccomandazione utilizzati in un'ampia gamma di applicazioni, come il riepilogo del testo, la generazione di codice, la risposta alle domande, la generazione di immagini e video, i consigli e il rilevamento di frodi.
Vantaggi
Appositamente progettato per l'addestramento di deep learning ad alte prestazioni
Ogni acceleratore Trainium include due NeuronCore di seconda generazione creati appositamente per algoritmi di deep learning. Per supportare dati efficienti e parallelismo dei modelli, ogni acceleratore Trainium dispone di 32 GB di memoria a larghezza di banda elevata, fornisce fino a 190 TFLOPS di potenza di calcolo FP16/BF16 e presenta NeuronLink, una tecnologia di interconnessione non bloccante tra istanze ad altissima velocità.
Ottimizzato per modelli all'avanguardia
Trainium ha il supporto nativo per un'ampia gamma di tipi di dati (FP32, TF32, BF16, FP16, UINT8 e FP8 configurabile). Supporta l'arrotondamento stocastico con accelerazione hardware per offrire prestazioni elevate e maggiore precisione rispetto alle modalità di arrotondamento legacy. Trainium fornisce inoltre supporto per flusso di controllo e operatori personalizzati scritti in C++ per fornire un'infrastruttura flessibile e a prova di futuro per le tue esigenze di addestramento.
Supporto nativo per framework e librerie ML
L'SDK AWS Neuron, che supporta Trainium, è integrato in modo nativo con PyTorch e TensorFlow. Ciò garantisce che tu possa continuare a utilizzare i flussi di lavoro esistenti in questi framework popolari e iniziare a utilizzare Trainium con solo poche righe di modifiche al codice. Per l'addestramento del modello distribuito, Neuron SDK supporta librerie, come Megatron-LM e PyTorch Fully Sharded Data Parallel (FSDP). Per iniziare rapidamente con le istanze EC2 Trn1 alimentate da Trainium, consulta esempi di modelli comuni nella documentazione di Neuron.
SDK AWS Neuron
AWS Neuron è un SDK costituito da un compilatore, runtime e strumenti di profilazione che puoi utilizzare per eseguire corsi di formazione ad alte prestazioni su istanze Amazon EC2 Trn1 basate su AWS Trainium. Utilizzando Neuron, puoi utilizzare i flussi di lavoro esistenti in framework comuni, come TensorFlow e PyTorch, e addestrarti in modo ottimale su istanze EC2 Trn1 con modifiche minime al codice. Neuron è pre-configurato nelle AMI di AWS Deep Learning (DLAMI) e nei container AWS Deep Learning, il che rende più semplice iniziare a usare le istanze Trn1.
AWS Inferentia
AWS Inferentia è un acceleratore di inferenza ML progettato da AWS che offre prestazioni elevate e l'inferenza di ML a basso costo nel cloud. Le istanze Inf1 di Amazon EC2 basate sugli acceleratori AWS Inferentia garantiscono una velocità di trasmissione effettiva fino a 2,3 volte superiore e costi fino al 70% più bassi per inferenza rispetto alle istanze Amazon EC2 confrontabili.
Ottieni l'accesso immediato al piano gratuito di AWS.
