AWS Trainium

Acceleratore di addestramento di machine learning ad alte prestazioni, progettato appositamente da AWS

AWS Trainium è il chip di machine learning (ML) di seconda generazione che AWS ha creato appositamente per la formazione di deep learning. Ogni istanza Trn1 di Amazon Elastic Compute Cloud (EC2) implementa fino a 16 acceleratori AWS Trainium per fornire una soluzione a basso costo e ad alte prestazioni per la formazione di DL nel cloud. Sebbene l'uso del deep learning stia accelerando, molti team di sviluppo sono limitati da budget fissi, il che pone un limite all'ambito e alla frequenza della formazione necessaria per migliorare i propri modelli e applicazioni. Le istanze EC2 Trn1 basate su Trainium risolvono questo problema offrendo un tempo di addestramento più rapido e al contempo un risparmio fino al 50% sui costi rispetto a istanze basate su GPU comparabili. Trainium è stato ottimizzato per l'addestramento di elaborazione del linguaggio naturale, visione artificiale e modelli di raccomandazione utilizzati in un'ampia serie di applicazioni, come riconoscimento vocale, raccomandazioni, rilevamento di frodi, riconoscimento di immagini e previsioni.

Vantaggi

Appositamente progettato per l'addestramento di deep learning ad alte prestazioni

Ogni acceleratore Trainium include due NeuronCore di seconda generazione creati appositamente per algoritmi di deep learning. Per supportare dati efficienti e parallelismo dei modelli, ogni acceleratore Trainium dispone di 32 GB di memoria a larghezza di banda elevata, fornisce fino a 210 TFLOPS di potenza di calcolo FP16/BF16 e presenta NeuronLink, una tecnologia di interconnessione non bloccante tra istanze ad altissima velocità.

Ottimizzato per modelli all'avanguardia

Trainium ha il supporto nativo per un'ampia gamma di tipi di dati (FP32, TF32, BF16, FP16, UINT8 e FP8 configurabile). Supporta l'arrotondamento stocastico con accelerazione hardware per offrire prestazioni elevate e maggiore precisione rispetto alle modalità di arrotondamento legacy. Trainium fornisce inoltre supporto completo per forme tensoriali dinamiche, flusso di controllo e operatori personalizzati scritti in C++ per fornire un'infrastruttura flessibile e a prova di futuro per le tue esigenze di addestramento.

Supporto nativo per framework e librerie ML

L'SDK AWS Neuron, che supporta Trainium, è integrato in modo nativo con PyTorch e TensorFlow. Ciò garantisce che tu possa continuare a utilizzare i flussi di lavoro esistenti in questi framework popolari e iniziare a utilizzare Trainium con solo poche righe di modifiche al codice. Per l'addestramento del modello distribuito, Neuron SDK supporta librerie, come Megatron-LM e PyTorch Fully Sharded Data Parallel (FSDP). Per iniziare rapidamente con le istanze EC2 Trn1 alimentate da Trainium, consulta esempi di modelli comuni nella documentazione di Neuron.

SDK AWS Neuron

AWS Neuron è un SDK costituito da un compilatore, runtime e strumenti di profilazione che puoi utilizzare per eseguire corsi di formazione ad alte prestazioni su istanze Amazon EC2 Trn1 basate su AWS Trainium. Utilizzando Neuron, puoi utilizzare i flussi di lavoro esistenti in framework comuni, come TensorFlow e PyTorch, e addestrarti in modo ottimale su istanze EC2 Trn1 con modifiche minime al codice. Neuron è pre-configurato nelle AMI di AWS Deep Learning (DLAMI) e nei container AWS Deep Learning, il che rende più semplice iniziare a usare le istanze Trn1.

Ulteriori informazioni »

AWS Inferentia

AWS Inferentia è un acceleratore di inferenza ML progettato da AWS che offre prestazioni elevate e l'inferenza di ML a basso costo nel cloud. Le istanze Inf1 di Amazon EC2 basate sugli acceleratori AWS Inferentia garantiscono una velocità di trasmissione effettiva fino a 2,3 volte superiore e costi fino al 70% più bassi per inferenza rispetto alle istanze Amazon EC2 basate su GPU della generazione attuale.

Ulteriori informazioni »

Registrati per creare un account gratuito

Ottieni l'accesso immediato al piano gratuito di AWS. 

Registrati 
Inizia subito nella console

Nozioni di base per la console AWS

Accedi