Istanze P4 di Amazon EC2

Con le GPU NVIDIA A100 Tensor Core di ultima generazione, ogni istanza P4d offre prestazioni di deep learning in media 2,5 volte migliori rispetto alle istanze P3 della generazione precedente. Gli UltraCluster EC2 di istanze P4d consentono agli sviluppatori, ai data scientist e ai ricercatori di tutti i giorni di eseguire i loro carichi di lavoro ML e HPC più complessi, consentendo l'accesso a prestazioni di classe supercomputing senza costi anticipati o impegni a lungo termine. Il tempo di addestramento ridotto con le istanze P4d aumenta la produttività, consentendo agli sviluppatori di concentrarsi sulla loro missione principale per lo sviluppo di intelligenza ML nelle applicazioni aziendali.

Gli sviluppatori possono scalare senza problemi fino a migliaia di GPU con un EC2 UltraCluster di istanze P4d. Le reti ad alta velocità effettiva e bassa latenza con supporto per reti di istanze a 400 Gbps, Elastic Fabric Adapter (EFA) e tecnologia GPUDirect RDMA, aiuta ad addestrare rapidamente i modelli ML utilizzando tecniche di scalabilità orizzontale/distribuita. EFA utilizza la NVIDIA Collective Communications Library (NCCL) per scalare a migliaia di GPU e la tecnologia GPUDirect RDMA consente la comunicazione GPU a GPU a bassa latenza tra le istanze P4d.

Le istanze P4d offrono fino al 60% in meno di costi per addestrare i modelli ML rispetto alle istanze P3. Inoltre, le istanze P4d possono essere acquistate come istanze Spot. Le istanze Spot traggono vantaggio dalla capacità inutilizzata delle istanze EC2 e possono ridurre notevolmente i costi di EC2 con uno sconto fino al 90% rispetto ai prezzi on demand. Con il minor costo dell’addestramento ML con le istanze P4d, i budget possono essere riallocati per creare più intelligence ML nelle applicazioni aziendali.

AWS Deep Learning AMI (DLAMI) e i container di deep learning di Amazon semplificano l'implementazione di ambienti di deep learning P4d in pochi minuti poiché contengono le librerie e gli strumenti del framework di deep learning richiesti. Puoi anche aggiungere facilmente le tue librerie e strumenti a queste immagini. Le istanze P4d supportano i framework ML più diffusi come TensorFlow, PyTorch e MXNet. Inoltre, le istanze P4d sono supportate dai principali servizi AWS per il machine learning, la gestione e l'orchestrazione come Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), Batch AWS e AWS ParallelCluster.

Le GPU NVIDIA A100 Tensor Core offrono un'accelerazione senza precedenti su larga scala per il machine learning e HPC. I Tensor Core di terza generazione di NVIDIA A100 accelerano ogni carico di lavoro di precisione, velocizzando il time to insight e il time to market. Ogni GPU A100 offre oltre 2,5 volte le prestazioni di calcolo rispetto alla precedente generazione di GPU V100 e viene fornita con 40 GB HBM2 (nelle istanze P4d) o 80 GB HBM2e (nelle istanze P4de) di memoria GPU ad alte prestazioni. Una maggiore memoria GPU avvantaggia in particolare quei carichi di lavoro che si addestrano su grandi set di dati di dati ad alta risoluzione. Le GPU NVIDIA A100 utilizzano la velocità di trasmissione effettiva di interconnessione GPU NVSwitch in modo che ogni GPU possa comunicare ogni altra GPU alla stessa velocità di trasmissione effettiva bidirezionale a 600 GB/s e con latenza a singolo hop.

Le istanze P4d forniscono una rete a 400 Gbps per aiutare i clienti a impiegare meglio la scalabilità orizzontale per i loro carichi di lavoro distribuiti come l’addestramento multi-nodo in modo più efficiente con reti a velocità di trasmissione effettiva elevata tra istanze P4d e tra un'istanza P4d e servizi di archiviazione come Amazon Simple Storage Service (Amazon S3) e FSx per Lustre. EFA è un'interfaccia di rete personalizzata progettata da AWS per aiutare a scalare le applicazioni ML e HPC su migliaia di GPU. Per ridurre ulteriormente la latenza, EFA è accoppiato con NVIDIA GPUDirect RDMA per consentire la comunicazione tra GPU a bassa latenza tra i server con bypass del sistema operativo.

Accedi a velocità di trasmissione effettiva elevata e a bassa latenza su scala petabyte con FSx per Lustre o a un’archiviazione conveniente e virtualmente illimitata con Amazon S3 a velocità di 400 Gb/s. Per i carichi di lavoro che richiedono un accesso rapido a set di dati di grandi dimensioni, ogni istanza P4d include anche un’archiviazione SSD basata su NVMe da 8 TB con velocità trasmissione effettiva di lettura di 16 GB/s.

Le istanze P4d sono basate su AWS Nitro System, che è una ricca raccolta di elementi costitutivi che consente di scaricare molte delle tradizionali funzioni di virtualizzazione su hardware e software dedicati per offrire elevate prestazioni, alta disponibilità e alta sicurezza riducendo al contempo il sovraccarico della virtualizzazione.

Amazon SageMaker è un servizio completamente gestito per la creazione, la formazione e la distribuzione di modelli ML. È possibile utilizzare decine, centinaia o migliaia di GPU per addestrare un modello più rapidamente senza dover configurare pipeline di dati e cluster, nel caso in cui si associno all’uso di istanze P4d.

DLAMI fornisce ai professionisti e ai ricercatori del machine learning l'infrastruttura e gli strumenti per accelerare il DL nel cloud, su qualsiasi scala. I Deep Learning Containers sono immagini Docker preinstallate con framework DL per semplificare l'implementazione rapida di ambienti ML personalizzati, consentendoti di saltare il complicato processo di creazione e ottimizzazione degli ambienti da zero.

Se preferisci gestire i tuoi carichi di lavoro containerizzati tramite servizi di orchestrazione di container, puoi distribuire istanze P4d con Amazon EKS o Amazon ECS.