Istanze P4d di Amazon EC2

Massime prestazioni per la formazione ML e le applicazioni HPC nel cloud

Le istanze P4d di Amazon EC2 offrono le massime prestazioni per applicazioni di addestramento di machine learning (ML) e sistemi computerizzati ad alte prestazioni (HPC) nel cloud. Le istanze P4d sono alimentate dalle più recenti GPU NVIDIA A100 Tensor Core e offrono una velocità effettiva elevata e una rete a bassa latenza leader nel settore. Queste istanze sono le prime nel cloud a supportare la rete di istanze a 400 Gbps. Le istanze P4d offrono un risparmio fino al 60% sui costi per l'addestramento dei modelli ML, inclusa una media di prestazioni 2,5 volte migliori per i modelli di deep learning rispetto alle istanze P3 e P3dn della generazione precedente.

Le istanze P4d di Amazon EC2 vengono distribuite in cluster iperscalabili denominati EC2 UltraCluster che comprendono le prestazioni di elaborazione, rete e archiviazione più elevate nel cloud. Ciascun EC2 UltraCluster è uno dei supercomputer più potenti al mondo, che consente ai clienti di eseguire la formazione ML multinodo più complessa e carichi di lavoro HPC distribuiti. I clienti possono facilmente scalare da poche a migliaia di GPU NVIDIA A100 negli EC2 UltraCluster in base alle loro esigenze di progetto ML o HPC.

Ricercatori, data scientist e sviluppatori possono sfruttare le istanze P4d per addestrare modelli ML per casi d'uso come elaborazione del linguaggio naturale, rilevamento e classificazione di oggetti e motori di raccomandazione, nonché eseguire applicazioni HPC come scoperta farmaceutica, analisi sismica e modeling finanziario. A differenza dei sistemi on-premise, i clienti possono accedere a capacità di elaborazione e archiviazione virtualmente illimitate, ridimensionare la propria infrastruttura in base alle esigenze aziendali e avviare un processo di formazione ML multinodo o un'applicazione HPC distribuita strettamente accoppiata in pochi minuti, senza costi di installazione o manutenzione.

Annuncio sulle nuove istanze P4d di Amazon EC2 (2:00)

Hai domande o hai bisogno di aiuto con EC2 UltraClusters?

Richiedi informazioni »

Addestramento ML e HPC su larga scala con EC2 P4d UltraClusters

Gli EC2 UltraClusters di istanze P4d combinano calcolo, rete e archiviazione ad alte prestazioni in uno dei supercomputer più potenti al mondo. Ogni EC2 UltraCluster di istanze P4d comprende più di 4.000 delle più recenti GPU NVIDIA A100, infrastruttura di rete non bloccante su scala Petabit e archiviazione a bassa latenza e velocità effettiva elevata con FSx for Lustre. Qualsiasi sviluppatore di machine learning, ricercatore o data scientist può avviare le istanze P4d in EC2 UltraClusters per ottenere l'accesso a prestazioni di livello supercomputer con un modello di utilizzo con pagamento a consumo per eseguire l’addestramento ML multinodo e i carichi di lavoro HPC più complessi.

Per domande o assistenza con EC2 UltraClusters, richiedi informazioni.

EC2_UltraClusters_HIW

Disponibile solo in alcune regioni. Per informazioni su quali regioni sono supportate e ulteriori informazioni su EC2 UltraClusters contattaci.

Vantaggi

Addestramento ML ridotto da giorni a minuti

Con le GPU Tensor Core NVIDIA A100 di ultima generazione, ogni istanza Amazon EC2 P4d offre prestazioni di deep learning in media 2,5 volte migliori rispetto alle istanze P3 della generazione precedente. Gli UltraCluster EC2 di istanze P4d consentono agli sviluppatori, ai data scientist e ai ricercatori di tutti i giorni di eseguire i loro carichi di lavoro ML e HPC più complessi, consentendo l'accesso a prestazioni di classe supercomputing senza costi anticipati o impegni a lungo termine. Il tempo di addestramento ridotto con le istanze P4d aumenta la produttività, consentendo agli sviluppatori di concentrarsi sulla loro missione principale per lo sviluppo di intelligenza ML nelle applicazioni aziendali.

Addestramento ML multi-nodo più complesso con un'elevata efficienza

Gli sviluppatori possono scalare senza problemi fino a migliaia di GPU con un EC2 UltraCluster di istanze P4d. Le reti ad alta velocità effettiva e bassa latenza con supporto per reti di istanze a 400 Gbps, Elastic Fabric Adapter (EFA) e tecnologia GPUDirect RDMA, aiuta ad addestrare rapidamente i modelli ML utilizzando tecniche di scalabilità orizzontale/distribuita. Elastic Fabric Adapter (EFA) utilizza la NVIDIA Collective Communications Library (NCCL) per scalare a migliaia di GPU e la tecnologia GPUDirect RDMA consente la comunicazione GPU a GPU a bassa latenza tra le istanze P4d.

Riduzione dei costi di infrastruttura per l’addestramento ML e HPC

Le istanze P4d di Amazon EC2 offrono fino al 60% in meno di costi per addestrare i modelli ML rispetto alle istanze P3. Inoltre, le istanze P4d possono essere acquistate come istanze Spot. Le istanze Spot traggono vantaggio dalla capacità inutilizzata delle istanze EC2 e possono ridurre notevolmente i costi di Amazon EC2 con uno sconto fino al 90% rispetto ai prezzi on demand. Con il minor costo dell’addestramento ML con le istanze P4d, i budget possono essere riallocati per creare più intelligence ML nelle applicazioni aziendali.

Servizi AWS scalabili e facili da utilizzare

Le AMI di deep learning e i container di deep learning semplificano l'implementazione di ambienti di deep learning P4d in pochi minuti poiché contengono le librerie e gli strumenti del framework di deep learning richiesti. Puoi anche aggiungere facilmente le tue librerie e strumenti a queste immagini. Le istanze P4d supportano i framework ML più diffusi come TensorFlow, PyTorch e MXNet. Inoltre, le istanze P4d di Amazon EC2 sono supportate dai principali servizi AWS per il machine learning, la gestione e l'orchestrazione come Amazon SageMaker, Amazon Elastic Kubernetes Service (EKS), Amazon Elastic Container Service (ECS), AWS Batch e AWS ParallelCluster.

Caratteristiche

Basato su GPU NVIDIA A100 Tensor Core

Le GPU NVIDIA A100 Tensor Core offrono un'accelerazione senza precedenti su larga scala per il machine learning e il calcolo ad alte prestazioni (HPC). I Tensor Core di terza generazione di NVIDIA A100 accelerano ogni carico di lavoro di precisione, velocizzando il time to insight e il time to market. Ogni GPU A100 offre oltre 2,5 volte le prestazioni di calcolo rispetto alla precedente generazione di GPU V100 e viene fornita con 40 GB di memoria GPU HBM2 ad alte prestazioni. Un'altra differenza fondamentale è che la velocità effettiva di interconnessione della GPU NVSwitch raddoppia i valori che erano possibili su A100, tanto che ciascuna GPU può comunicare ogni altra GPU alla stessa velocità effettiva bidirezionale a 600 GB/s e con latenza a singolo hop.

Reti ad alte prestazioni

Le istanze P4d forniscono una rete a 400 Gbps per aiutare i clienti a scalare meglio i loro carichi di lavoro distribuiti come l’addestramento multi-nodo in modo più efficiente con reti a velocità effettiva elevata tra istanze P4d e tra un'istanza P4d e servizi di storage come Amazon S3 e FSx for Lustre. Elastic Fabric Adapter (EFA) è un'interfaccia di rete personalizzata progettata da AWS per aiutare a scalare le applicazioni ML e HPC su migliaia di GPU. Per ridurre ulteriormente la latenza, EFA è accoppiato con NVIDIA GPUDirect RDMA per consentire la comunicazione tra GPU a bassa latenza tra i server con bypass del sistema operativo.

Velocità effettiva elevata, archiviazione a bassa latenza

I clienti possono accedere a una velocità effettiva elevata e a bassa latenza su scala PetaByte con FSx for Lustre o a un’archiviazione conveniente e virtualmente illimitata con Amazon S3 a velocità di 400 Gbps. Per i carichi di lavoro che richiedono un accesso rapido a set di dati di grandi dimensioni, ogni istanza P4d include anche un’archiviazione SSD basata su NVMe da 8 TB con velocità di lettura di 16 GigaBytes/sec.

Basato su AWS Nitro System

Le istanze P4d sono basate sul sistema Nitro AWS, che è una ricca raccolta di elementi costitutivi che consente di scaricare molte delle tradizionali funzioni di virtualizzazione su hardware e software dedicati per offrire elevate prestazioni, alta disponibilità e alta sicurezza riducendo al contempo il sovraccarico della virtualizzazione.

Testimonianze dei clienti

mli_600x400_TRI

Il Toyota Research Institute (TRI), fondato nel 2015, sta lavorando per sviluppare la guida automatizzata, la robotica e altre tecnologie di amplificazione umana per Toyota.

"In TRI, stiamo lavorando per costruire un futuro in cui tutti abbiano la libertà di muoversi", ha affermato Mike Garrison, Technical Lead, Infrastructure Engineering presso TRI. "Le istanze P3 della generazione precedente ci hanno aiutato a ridurre il tempo necessario per addestrare i modelli di machine learning da giorni a ore e non vediamo l'ora di utilizzare le istanze P4d, poiché la memoria GPU aggiuntiva e i formati float più efficienti consentiranno al nostro team di machine learning di allenarsi con più modelli complessi a una velocità ancora maggiore."

TRI-AD_logo_1200 200415_1

"In TRI-AD, stiamo lavorando per costruire un futuro in cui tutti abbiano la libertà di muoversi ed esplorare con l'obiettivo di ridurre gli infortuni e le vittime dei veicoli utilizzando la guida adattiva e la smart city. Grazie all'utilizzo delle istanze P4d di Amazon EC2, siamo stati in grado di ridurre il tempo di formazione per il riconoscimento degli oggetti del 40% rispetto alle istanze GPU della generazione precedente senza alcuna modifica ai codici esistenti", ha affermato Junya Inada, Direttore della guida automatizzata (riconoscimento) presso TRI-AD.

Jack Yan, Senior Director of Infrastructure Engineering presso TRI-AD, ha dichiarato: "Grazie all'utilizzo delle istanze P4d di Amazon EC2, siamo stati in grado di ridurre istantaneamente i nostri costi di addestramento rispetto alle istanze GPU della generazione precedente, consentendoci di aumentare il numero di team che lavorano su formazione modello. I miglioramenti della rete in P4d ci hanno permesso di scalare in modo efficiente a dozzine di istanze, il che ci ha dato una notevole agilità per ottimizzare, riqualificare e distribuire rapidamente modelli in auto di prova o ambienti di simulazione per ulteriori test".

ge_healthcare

GE Healthcare è un leader mondiale nell'innovazione di tecnologie mediche e soluzioni digitali GE Healthcare consente ai medici di prendere decisioni più rapide e informate attraverso dispositivi intelligenti, analisi dei dati, applicazioni e servizi, supportati dalla sua piattaforma di intelligence Edison.

"In GE Healthcare, forniamo ai medici strumenti che li aiutano ad aggregare i dati, applicare l'intelligenza artificiale e l'analisi a tali dati e scoprire approfondimenti che migliorano i risultati dei pazienti, guidano l'efficienza ed eliminano gli errori", ha affermato Karley Yoder, VP & GM, Artificial Intelligence. “I nostri dispositivi di imaging medico generano enormi quantità di dati che devono essere elaborati dai nostri data scientist. Con i precedenti cluster GPU, ci sarebbero voluti giorni per addestrare modelli AI complessi, come i GAN progressivi, per le simulazioni e visualizzare i risultati. L'utilizzo delle nuove istanze P4d ha ridotto i tempi di elaborazione da giorni a ore. Abbiamo riscontrato una velocità da due a tre volte maggiore sui modelli di addestramento con varie dimensioni dell'immagine, ottenendo prestazioni migliori con una maggiore dimensione del lotto e una maggiore produttività con un ciclo di sviluppo del modello più rapido".

0_banner

OmniSci è un pioniere nel settore dell'analisi accelerata. La piattaforma OmniSci viene utilizzata nel mondo degli affari e della pubblica amministrazione per trovare approfondimenti nei dati oltre i limiti degli strumenti di analisi tradizionali.

“In Omnisci, stiamo lavorando per costruire un futuro in cui Data Science e analisi dei dati convergono per abbattere e fondere i silos di dati. I clienti stanno sfruttando le loro enormi quantità di dati che possono includere posizione e ora per costruire un quadro completo non solo di ciò che sta accadendo, ma anche di quando e dove attraverso la visualizzazione granulare dei dati spazio-temporali. La nostra tecnologia consente di vedere sia la foresta che gli alberi”. ha detto (Ray Falcione), vicepresidente del Settore Pubblico degli Stati Uniti presso Omnisci. “Attraverso l'utilizzo delle istanze Amaon EC2 P4d, siamo stati in grado di ridurre significativamente i costi di implementazione della nostra piattaforma rispetto alle istanze GPU della generazione precedente, consentendoci così di scalare in modo conveniente enormi set di dati. I miglioramenti della rete su A100 hanno aumentato le nostre efficienze nel modo in cui ridimensioniamo miliardi di righe di dati e hanno permesso ai nostri clienti di raccogliere informazioni ancora più velocemente".

z-logo

Zenotech Ltd sta ridefinendo l'ingegneria online attraverso l'uso di HPC Clouds offrendo modelli di licenza on demand insieme a vantaggi prestazionali estremi sfruttando le GPU.

“In Zenotech stiamo sviluppando gli strumenti per consentire ai progettisti di creare prodotti più efficienti e rispettosi dell'ambiente. Lavoriamo in tutti i settori e i nostri strumenti forniscono maggiori informazioni sulle prestazioni del prodotto attraverso l'uso di simulazioni su larga scala" ha affermato Jamil Appa, Direttore di Zenotech. "L'utilizzo delle istanze AWS P4d ci consente di eseguire le nostre simulazioni 3,5 volte più velocemente rispetto alla precedente generazione di GPU. Questa accelerazione riduce significativamente i nostri tempi di risoluzione, consentendo ai nostri clienti di immettere i progetti sul mercato più rapidamente o di eseguire simulazioni con una fedeltà più elevata rispetto a quanto fosse possibile in precedenza".

aon-200x100

Aon è un'azienda leader a livello mondiale di servizi professionali che fornisce un'ampia gamma di soluzioni per rischi, pensioni e salute. Aon PathWise è una soluzione di gestione del rischio HPC basata su GPU e scalabile che assicuratori e riassicuratori, banche e fondi pensione possono utilizzare per affrontare le sfide chiave di oggi come i test delle strategie di copertura, le previsioni normative ed economiche e il budget. 

“In PathWise Solutions Group LLC, il nostro prodotto consente alle compagnie assicurative, ai riassicuratori e ai fondi pensione di accedere alla tecnologia di prossima generazione per risolvere rapidamente le sfide assicurative chiave di oggi come il machine learning, i test delle strategie di copertura, i rapporti normativi e finanziari, la pianificazione aziendale e le previsioni economiche e sviluppo di nuovi prodotti e prezzi", ha affermato Peter Phillips, Presidente e CEO, PathWise Solutions Group. "Attraverso l'utilizzo delle istanze P4d di Amazon EC2 siamo in grado di offrire incredibili miglioramenti in termini di velocità per i calcoli a precisione singola e doppia rispetto alle istanze GPU della generazione precedente per i calcoli più impegnativi, consentendo ai clienti di eseguire una nuova gamma di calcoli e previsioni per il più prima volta. La velocità è importante", afferma Phillips, "e continuiamo a fornire valore significativo e la tecnologia più recente ai nostri clienti grazie alle nuove istanze di AWS".

rad_ai

Composto da esperti di radiologia e intelligenza artificiale, Rad AI crea prodotti che massimizzano la produttività del radiologo, rendendo in definitiva l'assistenza sanitaria più ampiamente accessibile e migliorando i risultati per i pazienti.

"In Rad AI, la nostra missione è aumentare l'accesso e la qualità dell'assistenza sanitaria, per tutti. Concentrandosi sul flusso di lavoro di imaging medico, Rad AI fa risparmiare tempo ai radiologi, riduce il burnout e migliora la precisione", ha affermato Doktor Gurson, co-fondatore di Rad AI. “Utilizziamo l'intelligenza artificiale per automatizzare i flussi di lavoro di radiologia e contribuire a semplificare i referti radiologici. Con le nuove istanze EC2 P4d, abbiamo riscontrato un'inferenza più rapida e la capacità di addestrare i modelli 2,4 volte più velocemente, con una precisione maggiore rispetto alle istanze P3 della generazione precedente. Ciò consente una diagnosi più rapida e precisa e un maggiore accesso a servizi di radiologia di alta qualità forniti dai nostri clienti negli Stati Uniti.“

Leggi il caso di studio per ulteriori informazioni »

Dettagli del prodotto

Dimensioni istanza vCPU Memoria istanza (GiB) GPU - A100 Larghezza di banda di rete (Gb/s) GPUDirect RDMA Peer to peer GPU Archiviazione dell'istanza (GB) Larghezza di banda EBS (Gb/s) Prezzo on demand/h Istanza riservata effettiva di 1 anno all’ora Istanza riservata effettiva di 3 anno all’ora
p4d.24xlarge 96 1152 8 400 ENA e EFA NVSwitch a 600 Gb/s 8 x 1000 SSD NVMe 19 32,77 USD 19,22 USD 11,57 USD
* - I prezzi sono calcolati per Linux/Unix nella regione AWS Stati Uniti orientali (Virginia settentrionale) e arrotondati al centesimo più vicino. Per ulteriori dettagli, consulta la pagina dei prezzi di Amazon EC2.

Le istanze P4d di Amazon EC2 sono disponibili nelle regioni Stati Uniti orientali (Virginia settentrionale e Ohio), Stati Uniti occidentali (Oregon), Europa (Francoforte e Irlanda) e Asia Pacifico (Sydney, Tokyo e Mumbai). I clienti possono ora acquistare le istanze P4d come istanze on demand, istanze riservate, istanze Spot e host dedicati o come parte di Savings Plan.

Nozioni di base sulle istanze P4d di Amazon EC2 per il machine learning

Uso di Amazon SageMaker

Amazon SageMaker è un servizio completamente gestito per la creazione, l’addestramento e l’implementazione di modelli ML. È possibile utilizzare decine, centinaia o migliaia di GPU per addestrare un modello più rapidamente senza dover configurare pipeline di dati e cluster, nel caso in cui si associno all’uso di istanze P4d di Amazon EC2.

Uso di AMI di AWS Deep Learning o Deep Learning Containers

Le AMI di AWS Deep Learning (DLAMI) forniscono agli esperti di ML e ai ricercatori l'infrastruttura e gli strumenti nel cloud necessari per velocizzare i processi di apprendimento profondo su qualsiasi scala. Gli AWS Deep Learning Containers sono immagini Docker preinstallate con framework di deep learning che semplificano la distribuzione di ambienti di machine learning personalizzati in modo rapido poiché ti consentono di saltare il complicato processo di creazione e ottimizzazione di ambienti ex novo.

Utilizzo di Amazon Elastic Kubernetes Service (EKS) o Elastic Container Service (ECS)

I clienti che preferiscono gestire i propri carichi di lavoro containerizzati tramite i servizi di orchestrazione dei container possono distribuire istanze P4d di Amazon EC2 con Amazon EKS o ECS.

Nozioni di base sulle istanze P4d di Amazon EC2 per i sistemi computerizzati ad alte prestazioni

Le istanze P4d di Amazon EC2 sono una piattaforma ideale per eseguire simulazioni ingegneristiche, finanza computazionale, analisi sismiche, modellistica molecolare, genomica, renderizzazione e altri carichi di lavoro di sistemi computerizzati ad alte prestazioni. Le applicazioni HPC spesso richiedono prestazioni di rete elevate, storage veloce, grandi quantità di memoria e funzioni di elaborazione di alto livello o tutte queste caratteristiche insieme. Ad esempio, le istanze P4d Elastic Fabric Adapter (EFA), che consente alle applicazioni HPC che utilizzano Message Passing Interface (MPI) di ridimensionarsi a migliaia di GPU. AWS Batch e AWS ParallelCluster consentono agli sviluppatori HPC di creare e scalare rapidamente applicazioni HPC distribuite.

Ulteriori informazioni »

Post del blog e articoli

Risorse aggiuntive

EC2 UltraClusters di istanze P4d (1:59)
Istanze P4d e P3 di Amazon EC2: elaborazione del linguaggio naturale (0:34)
Istanze P4d e P3 di Amazon EC2: da voce a testo (0:33)
Istanze P4d e P3 di Amazon EC2: classificazione delle immagini (0:37)

Nozioni di base su AWS

Registrati per creare un account AWS

Registrati per creare un account AWS

Ottieni accesso istantaneo al piano gratuito di AWS.

Impara con semplici tutorial

Impara con i tutorial di 10 minuti

Esplora e impara con semplici tutorial.

Inizia a lavorare con EC2 nella console

Inizia a lavorare nella console

Inizia a creare seguendo le istruzioni contenute nelle guide dettagliate per avviare un progetto AWS.