Istanze P4 di Amazon EC2
Massime prestazioni per la formazione ML e le applicazioni HPC nel cloud
Le istanze P4d di Amazon EC2 offrono le massime prestazioni per applicazioni di addestramento di machine learning (ML) e calcolo ad alte prestazioni (HPC) nel cloud. Le istanze P4d sono alimentate dalle più recenti GPU NVIDIA A100 Tensor Core e offrono una velocità effettiva elevata e una rete a bassa latenza leader nel settore. Queste istanze sono le prime nel cloud a supportare la rete di istanze a 400 Gbps. Le istanze P4d offrono un risparmio fino al 60% sui costi per l'addestramento dei modelli ML, inclusa una media di prestazioni 2,5 volte migliori per i modelli di deep learning rispetto alle istanze P3 e P3dn della generazione precedente.
Le istanze P4d di Amazon EC2 vengono distribuite in cluster iperscalabili denominati EC2 UltraCluster che comprendono le prestazioni di elaborazione, rete e archiviazione più elevate nel cloud. Ciascun EC2 UltraCluster è uno dei supercomputer più potenti al mondo, che consente ai clienti di eseguire la formazione ML multinodo più complessa e carichi di lavoro HPC distribuiti. I clienti possono facilmente scalare da poche a migliaia di GPU NVIDIA A100 negli EC2 UltraCluster in base alle loro esigenze di progetto ML o HPC.
Ricercatori, data scientist e sviluppatori possono sfruttare le istanze P4d per addestrare modelli ML per casi d'uso come elaborazione del linguaggio naturale, rilevamento e classificazione di oggetti e motori di raccomandazione, nonché eseguire applicazioni HPC come scoperta farmaceutica, analisi sismica e modeling finanziario. A differenza dei sistemi on-premise, i clienti possono accedere a capacità di elaborazione e archiviazione virtualmente illimitate, ridimensionare la propria infrastruttura in base alle esigenze aziendali e avviare un processo di formazione ML multinodo o un'applicazione HPC distribuita strettamente accoppiata in pochi minuti, senza costi di installazione o manutenzione.
Hai domande o hai bisogno di aiuto con EC2 UltraClusters?
Addestramento ML e HPC su larga scala con EC2 P4d UltraClusters
Gli EC2 UltraClusters di istanze P4d combinano calcolo, rete e archiviazione ad alte prestazioni in uno dei supercomputer più potenti al mondo. Ogni EC2 UltraCluster di istanze P4d comprende più di 4.000 delle più recenti GPU NVIDIA A100, infrastruttura di rete non bloccante su scala Petabit e archiviazione a bassa latenza e velocità effettiva elevata con FSx for Lustre. Qualsiasi sviluppatore di machine learning, ricercatore o data scientist può avviare le istanze P4d in EC2 UltraClusters per ottenere l'accesso a prestazioni di livello supercomputer con un modello di utilizzo con pagamento a consumo per eseguire l’addestramento ML multinodo e i carichi di lavoro HPC più complessi.
Per domande o assistenza con EC2 UltraClusters, richiedi informazioni.
Disponibile solo in alcune regioni. Per informazioni su quali regioni sono supportate e ulteriori informazioni su EC2 UltraClusters contattaci.
Vantaggi
Addestramento ML ridotto da giorni a minuti
Con le GPU Tensor Core NVIDIA A100 di ultima generazione, ogni istanza Amazon EC2 P4d offre prestazioni di deep learning in media 2,5 volte migliori rispetto alle istanze P3 della generazione precedente. Gli UltraCluster EC2 di istanze P4d consentono agli sviluppatori, ai data scientist e ai ricercatori di tutti i giorni di eseguire i loro carichi di lavoro ML e HPC più complessi, consentendo l'accesso a prestazioni di classe supercomputing senza costi anticipati o impegni a lungo termine. Il tempo di addestramento ridotto con le istanze P4d aumenta la produttività, consentendo agli sviluppatori di concentrarsi sulla loro missione principale per lo sviluppo di intelligenza ML nelle applicazioni aziendali.
Addestramento ML multi-nodo più complesso con un'elevata efficienza
Gli sviluppatori possono scalare senza problemi fino a migliaia di GPU con un EC2 UltraCluster di istanze P4d. Le reti ad alta velocità effettiva e bassa latenza con supporto per reti di istanze a 400 Gbps, Elastic Fabric Adapter (EFA) e tecnologia GPUDirect RDMA, aiuta ad addestrare rapidamente i modelli ML utilizzando tecniche di scalabilità orizzontale/distribuita. Elastic Fabric Adapter (EFA) utilizza la NVIDIA Collective Communications Library (NCCL) per scalare a migliaia di GPU e la tecnologia GPUDirect RDMA consente la comunicazione GPU a GPU a bassa latenza tra le istanze P4d.
Riduzione dei costi di infrastruttura per l’addestramento ML e HPC
Le istanze P4d di Amazon EC2 offrono fino al 60% in meno di costi per addestrare i modelli ML rispetto alle istanze P3. Inoltre, le istanze P4d possono essere acquistate come istanze Spot. Le istanze Spot traggono vantaggio dalla capacità inutilizzata delle istanze EC2 e possono ridurre notevolmente i costi di Amazon EC2 con uno sconto fino al 90% rispetto ai prezzi on demand. Con il minor costo dell’addestramento ML con le istanze P4d, i budget possono essere riallocati per creare più intelligence ML nelle applicazioni aziendali.
Servizi AWS scalabili e facili da utilizzare
Le AMI di deep learning e i container di deep learning semplificano l'implementazione di ambienti di deep learning P4d in pochi minuti poiché contengono le librerie e gli strumenti del framework di deep learning richiesti. Puoi anche aggiungere facilmente le tue librerie e strumenti a queste immagini. Le istanze P4d supportano i framework ML più diffusi come TensorFlow, PyTorch e MXNet. Inoltre, le istanze P4d di Amazon EC2 sono supportate dai principali servizi AWS per il machine learning, la gestione e l'orchestrazione come Amazon SageMaker, Amazon Elastic Kubernetes Service (EKS), Amazon Elastic Container Service (ECS), AWS Batch e AWS ParallelCluster.
Caratteristiche
Basato su GPU NVIDIA A100 Tensor Core
Le GPU NVIDIA A100 Tensor Core offrono un'accelerazione senza precedenti su larga scala per il machine learning e il calcolo ad alte prestazioni (HPC). I Tensor Core di terza generazione di NVIDIA A100 accelerano ogni carico di lavoro di precisione, velocizzando il time to insight e il time to market. Ogni GPU A100 offre oltre 2,5 volte le prestazioni di calcolo rispetto alla precedente generazione di GPU V100 e viene fornita con 40 GB HBM2 (nelle istanze P4d) o 80 GB HBM2e (nelle istanze P4de) di memoria GPU ad alte prestazioni. Una maggiore memoria GPU avvantaggia in particolare quei carichi di lavoro che si addestrano su grandi set di dati di dati ad alta risoluzione. Un'altra differenza fondamentale è che la velocità effettiva di interconnessione della GPU NVSwitch raddoppia i valori che erano possibili su A100, tanto che ciascuna GPU può comunicare ogni altra GPU alla stessa velocità effettiva bidirezionale a 600 GB/s e con latenza a singolo hop.
Reti ad alte prestazioni
Le istanze P4d forniscono una rete a 400 Gbps per aiutare i clienti a scalare meglio i loro carichi di lavoro distribuiti come l’addestramento multi-nodo in modo più efficiente con reti a velocità effettiva elevata tra istanze P4d e tra un'istanza P4d e servizi di storage come Amazon S3 e FSx for Lustre. Elastic Fabric Adapter (EFA) è un'interfaccia di rete personalizzata progettata da AWS per aiutare a scalare le applicazioni ML e HPC su migliaia di GPU. Per ridurre ulteriormente la latenza, EFA è accoppiato con NVIDIA GPUDirect RDMA per consentire la comunicazione tra GPU a bassa latenza tra i server con bypass del sistema operativo.
Velocità effettiva elevata, archiviazione a bassa latenza
I clienti possono accedere a una velocità effettiva elevata e a bassa latenza su scala PetaByte con FSx for Lustre o a un’archiviazione conveniente e virtualmente illimitata con Amazon S3 a velocità di 400 Gbps. Per i carichi di lavoro che richiedono un accesso rapido a set di dati di grandi dimensioni, ogni istanza P4d include anche un’archiviazione SSD basata su NVMe da 8 TB con velocità di lettura di 16 GigaBytes/sec.
Basato su AWS Nitro System
Le istanze P4d sono basate sul sistema Nitro AWS, che è una ricca raccolta di elementi costitutivi che consente di scaricare molte delle tradizionali funzioni di virtualizzazione su hardware e software dedicati per offrire elevate prestazioni, alta disponibilità e alta sicurezza riducendo al contempo il sovraccarico della virtualizzazione.
Testimonianze dei clienti
Il Toyota Research Institute (TRI), fondato nel 2015, sta lavorando per sviluppare la guida automatizzata, la robotica e altre tecnologie di amplificazione umana per Toyota.
"In TRI, stiamo lavorando per costruire un futuro in cui tutti abbiano la libertà di muoversi", ha affermato Mike Garrison, Technical Lead, Infrastructure Engineering presso TRI. "Le istanze P3 della generazione precedente ci hanno aiutato a ridurre il tempo necessario per addestrare i modelli di machine learning da giorni a ore e non vediamo l'ora di utilizzare le istanze P4d, poiché la memoria GPU aggiuntiva e i formati float più efficienti consentiranno al nostro team di machine learning di allenarsi con più modelli complessi a una velocità ancora maggiore."
"In TRI-AD, stiamo lavorando per costruire un futuro in cui tutti abbiano la libertà di muoversi ed esplorare con l'obiettivo di ridurre gli infortuni e le vittime dei veicoli utilizzando la guida adattiva e la smart city. Grazie all'utilizzo delle istanze P4d di Amazon EC2, siamo stati in grado di ridurre il tempo di formazione per il riconoscimento degli oggetti del 40% rispetto alle istanze GPU della generazione precedente senza alcuna modifica ai codici esistenti", ha affermato Junya Inada, Direttore della guida automatizzata (riconoscimento) presso TRI-AD.
Jack Yan, Senior Director of Infrastructure Engineering presso TRI-AD, ha dichiarato: "Grazie all'utilizzo delle istanze P4d di Amazon EC2, siamo stati in grado di ridurre istantaneamente i nostri costi di addestramento rispetto alle istanze GPU della generazione precedente, consentendoci di aumentare il numero di team che lavorano su formazione modello. I miglioramenti della rete in P4d ci hanno permesso di scalare in modo efficiente a dozzine di istanze, il che ci ha dato una notevole agilità per ottimizzare, riqualificare e distribuire rapidamente modelli in auto di prova o ambienti di simulazione per ulteriori test".
GE Healthcare è un leader mondiale nell'innovazione di tecnologie mediche e soluzioni digitali GE Healthcare consente ai medici di prendere decisioni più rapide e informate attraverso dispositivi intelligenti, analisi dei dati, applicazioni e servizi, supportati dalla sua piattaforma di intelligence Edison.
"In GE Healthcare, forniamo ai medici strumenti che li aiutano ad aggregare i dati, applicare l'intelligenza artificiale e l'analisi a tali dati e scoprire approfondimenti che migliorano i risultati dei pazienti, guidano l'efficienza ed eliminano gli errori", ha affermato Karley Yoder, VP & GM, Artificial Intelligence. “I nostri dispositivi di imaging medico generano enormi quantità di dati che devono essere elaborati dai nostri data scientist. Con i precedenti cluster GPU, ci sarebbero voluti giorni per addestrare modelli AI complessi, come i GAN progressivi, per le simulazioni e visualizzare i risultati. L'utilizzo delle nuove istanze P4d ha ridotto i tempi di elaborazione da giorni a ore. Abbiamo riscontrato una velocità da due a tre volte maggiore sui modelli di addestramento con varie dimensioni dell'immagine, ottenendo prestazioni migliori con una maggiore dimensione del lotto e una maggiore produttività con un ciclo di sviluppo del modello più rapido".
.1423e4372be1d9da0d8bc14e12566a8c5f996091.png)
HEAVY.AI è un pioniere nel settore dell'analisi accelerata. La piattaforma HEAVY.AI viene utilizzata nel mondo degli affari e della pubblica amministrazione per trovare approfondimenti nei dati oltre i limiti degli strumenti di analisi tradizionali.
"In HEAVY.AI stiamo lavorando per costruire un futuro in cui data science e analisi dei dati convergono per abbattere e fondere i silo di dati. I clienti stanno sfruttando le loro enormi quantità di dati che possono includere posizione e ora per costruire un quadro completo non solo di ciò che sta accadendo, ma anche di quando e dove accade, attraverso la visualizzazione granulare dei dati spazio-temporali. La nostra tecnologia consente di vedere sia la foresta che gli alberi". ha detto (Ray Falcione), VP of US Public Sector (vicepresidente del Settore Pubblico degli Stati Uniti) presso HEAVY.AI. "Attraverso l'utilizzo delle istanze Amazon EC2 P4d, siamo stati in grado di ridurre significativamente i costi di implementazione della nostra piattaforma rispetto alle istanze GPU della generazione precedente, quindi di dimensionare in modo conveniente enormi set di dati. I miglioramenti della rete su A100 hanno aumentato le nostre efficienze nel modo in cui ridimensioniamo miliardi di righe di dati e hanno permesso ai nostri clienti di raccogliere informazioni ancora più velocemente".
Zenotech Ltd sta ridefinendo l'ingegneria online attraverso l'uso di HPC Clouds offrendo modelli di licenza on demand insieme a vantaggi prestazionali estremi sfruttando le GPU.
“In Zenotech stiamo sviluppando gli strumenti per consentire ai progettisti di creare prodotti più efficienti e rispettosi dell'ambiente. Lavoriamo in tutti i settori e i nostri strumenti forniscono maggiori informazioni sulle prestazioni del prodotto attraverso l'uso di simulazioni su larga scala" ha affermato Jamil Appa, Direttore di Zenotech. "L'utilizzo delle istanze AWS P4d ci consente di eseguire le nostre simulazioni 3,5 volte più velocemente rispetto alla precedente generazione di GPU. Questa accelerazione riduce significativamente i nostri tempi di risoluzione, consentendo ai nostri clienti di immettere i progetti sul mercato più rapidamente o di eseguire simulazioni con una fedeltà più elevata rispetto a quanto fosse possibile in precedenza".
Aon è un'azienda leader a livello mondiale di servizi professionali che fornisce un'ampia gamma di soluzioni per rischi, pensioni e salute. Aon PathWise è una soluzione di gestione del rischio HPC basata su GPU e scalabile che assicuratori e riassicuratori, banche e fondi pensione possono utilizzare per affrontare le sfide chiave di oggi come i test delle strategie di copertura, le previsioni normative ed economiche e il budget.
“In PathWise Solutions Group LLC, il nostro prodotto consente alle compagnie assicurative, ai riassicuratori e ai fondi pensione di accedere alla tecnologia di prossima generazione per risolvere rapidamente le sfide assicurative chiave di oggi come il machine learning, i test delle strategie di copertura, i rapporti normativi e finanziari, la pianificazione aziendale e le previsioni economiche e sviluppo di nuovi prodotti e prezzi", ha affermato Peter Phillips, Presidente e CEO, PathWise Solutions Group. "Attraverso l'utilizzo delle istanze P4d di Amazon EC2 siamo in grado di offrire incredibili miglioramenti in termini di velocità per i calcoli a precisione singola e doppia rispetto alle istanze GPU della generazione precedente per i calcoli più impegnativi, consentendo ai clienti di eseguire una nuova gamma di calcoli e previsioni per il più prima volta. La velocità è importante", afferma Phillips, "e continuiamo a fornire valore significativo e la tecnologia più recente ai nostri clienti grazie alle nuove istanze di AWS".
Composto da esperti di radiologia e intelligenza artificiale, Rad AI crea prodotti che massimizzano la produttività del radiologo, rendendo in definitiva l'assistenza sanitaria più ampiamente accessibile e migliorando i risultati per i pazienti.
"In Rad AI, la nostra missione è aumentare l'accesso e la qualità dell'assistenza sanitaria, per tutti. Concentrandosi sul flusso di lavoro di imaging medico, Rad AI fa risparmiare tempo ai radiologi, riduce il burnout e migliora la precisione", ha affermato Doktor Gurson, co-fondatore di Rad AI. “Utilizziamo l'intelligenza artificiale per automatizzare i flussi di lavoro di radiologia e contribuire a semplificare i referti radiologici. Con le nuove istanze EC2 P4d, abbiamo riscontrato un'inferenza più rapida e la capacità di addestrare i modelli 2,4 volte più velocemente, con una precisione maggiore rispetto alle istanze P3 della generazione precedente. Ciò consente una diagnosi più rapida e precisa e un maggiore accesso a servizi di radiologia di alta qualità forniti dai nostri clienti negli Stati Uniti.“
Dettagli del prodotto
| Dimensioni istanza | vCPU | Memoria istanza (GiB) | GPU - A100 | Memoria GPU | Larghezza di banda della rete (Gbps) | GPUDirect RDMA | Peer to peer GPU | Archiviazione dell'istanza (GB) | Larghezza di banda EBS (Gb/s) | Prezzo on demand/h | Istanza riservata effettiva di 1 anno all’ora | Istanza riservata effettiva di 3 anno all’ora |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| p4d.24xlarge | 96 | 1152 | 8 | 320 GB HBM2 |
400 ENA e EFA | Sì | NVSwitch a 600 Gb/s | 8 x 1000 SSD NVMe | 19 | 32,77 USD | 19,22 USD | 11,57 USD |
| p4de.24xlarge (anteprima) | 96 | 1152 | 8 | 640 GB HBM2e |
400 ENA e EFA | Sì | NVSwitch a 600 Gb/s | 8 x 1000 SSD NVMe | 19 | 40,96 USD | 24,01 USD | 14,46 USD |
Le istanze P4d di Amazon EC2 sono disponibili nelle regioni Stati Uniti orientali (Virginia settentrionale e Ohio), Stati Uniti occidentali (Oregon), Europa (Francoforte e Irlanda) e Asia Pacifico (Tokyo e Seoul) mentre le istanze P4de di Amazon EC2 sono disponibili nelle regioni AWS Stati Uniti orientali (Virginia settentrionale) e Stati Uniti occidentali (Oregon).
I clienti possono ora acquistare le istanze P4d e P4de come istanze on demand, istanze riservate, istanze Spot e host dedicati o come parte di Savings Plan.
Nozioni di base sulle istanze P4d di Amazon EC2 per il machine learning
Uso di Amazon SageMaker
Uso di AMI di AWS Deep Learning o Deep Learning Containers
Utilizzo di Amazon Elastic Kubernetes Service (EKS) o Elastic Container Service (ECS)
Nozioni di base sulle istanze P4d di Amazon EC2 per i sistemi computerizzati ad alte prestazioni
Le istanze P4d di Amazon EC2 sono una piattaforma ideale per eseguire simulazioni ingegneristiche, finanza computazionale, analisi sismiche, modellistica molecolare, genomica, renderizzazione e altri carichi di lavoro di sistemi computerizzati ad alte prestazioni. Le applicazioni HPC spesso richiedono prestazioni di rete elevate, storage veloce, grandi quantità di memoria e funzioni di elaborazione di alto livello o tutte queste caratteristiche insieme. Ad esempio, le istanze P4d Elastic Fabric Adapter (EFA), che consente alle applicazioni HPC che utilizzano Message Passing Interface (MPI) di ridimensionarsi a migliaia di GPU. AWS Batch e AWS ParallelCluster consentono agli sviluppatori HPC di creare e scalare rapidamente applicazioni HPC distribuite.
Post del blog e articoli
Risorse aggiuntive
Nozioni di base su AWS
Inizia a lavorare nella console
Inizia a creare seguendo le istruzioni contenute nelle guide dettagliate per avviare un progetto AWS.