Istanze P4 di Amazon EC2

Massime prestazioni per l’addestramento del ML e le applicazioni HPC nel cloud

Perché scegliere le istanze Amazon EC2 P4?

Le istanze P4d di Amazon Elastic Compute Cloud (Amazon EC2) offrono le massime prestazioni per applicazioni di addestramento di machine learning (ML) e calcolo ad alte prestazioni (HPC) nel cloud. Le istanze P4d sono alimentate dalle GPU NVIDIA A100 Tensor Core e offrono una velocità di trasmissione effettiva elevata e una rete a bassa latenza leader nel settore. Queste istanze supportano una rete di istanze a 400 Gb/s. Le istanze P4d offrono un risparmio fino al 60% sui costi per l'addestramento dei modelli ML, inclusa una media di prestazioni 2,5 volte migliori per i modelli di deep learning rispetto alle istanze P3 e P3dn della generazione precedente.

Le istanze P4d vengono implementate in cluster iperscalabili denominati Amazon EC2 UltraCluster che comprendono le prestazioni di elaborazione, rete e archiviazione più elevate nel cloud. Ciascun EC2 UltraCluster è uno dei supercomputer più potenti al mondo, che consente ai clienti di eseguire l’addestramento di ML multi-nodo più complessa e carichi di lavoro HPC distribuiti. Puoi facilmente dimensionare da poche a migliaia di GPU NVIDIA A100 negli EC2 UltraCluster in base alle loro esigenze di progetto ML o HPC.

Ricercatori, data scientist e sviluppatori possono utilizzare le istanze P4d per addestrare modelli ML per casi d'uso come l'elaborazione del linguaggio naturale, il rilevamento e la classificazione di oggetti e i motori di raccomandazione. Possono anche utilizzarlo per eseguire applicazioni HPC come scoperte farmaceutiche, analisi sismiche e modellazione finanziaria. A differenza dei sistemi on-premise, è possibile accedere a capacità di elaborazione e archiviazione virtualmente illimitate, dimensionare la propria infrastruttura in base alle esigenze aziendali e avviare un processo di formazione ML multi-nodo o un'applicazione HPC distribuita strettamente accoppiata in pochi minuti, senza costi di installazione o manutenzione.

Annuncio delle nuove istanze Amazon EC2 P4d

Vantaggi

Con le GPU NVIDIA A100 Tensor Core di ultima generazione, ogni istanza P4d offre prestazioni di deep learning in media 2,5 volte migliori rispetto alle istanze P3 della generazione precedente. Gli UltraCluster EC2 di istanze P4d consentono agli sviluppatori, ai data scientist e ai ricercatori di tutti i giorni di eseguire i loro carichi di lavoro ML e HPC più complessi, consentendo l'accesso a prestazioni di classe supercomputing senza costi anticipati o impegni a lungo termine. Il tempo di addestramento ridotto con le istanze P4d aumenta la produttività, consentendo agli sviluppatori di concentrarsi sulla loro missione principale per lo sviluppo di intelligenza ML nelle applicazioni aziendali.

Gli sviluppatori possono scalare senza problemi fino a migliaia di GPU con un EC2 UltraCluster di istanze P4d. Le reti ad alta velocità effettiva e bassa latenza con supporto per reti di istanze a 400 Gbps, Elastic Fabric Adapter (EFA) e tecnologia GPUDirect RDMA, aiuta ad addestrare rapidamente i modelli ML utilizzando tecniche di scalabilità orizzontale/distribuita. EFA utilizza la NVIDIA Collective Communications Library (NCCL) per scalare a migliaia di GPU e la tecnologia GPUDirect RDMA consente la comunicazione GPU a GPU a bassa latenza tra le istanze P4d.

Le istanze P4d offrono fino al 60% in meno di costi per addestrare i modelli ML rispetto alle istanze P3. Inoltre, le istanze P4d possono essere acquistate come istanze Spot. Le istanze Spot traggono vantaggio dalla capacità inutilizzata delle istanze EC2 e possono ridurre notevolmente i costi di EC2 con uno sconto fino al 90% rispetto ai prezzi on demand. Con il minor costo dell’addestramento ML con le istanze P4d, i budget possono essere riallocati per creare più intelligence ML nelle applicazioni aziendali.

AWS Deep Learning AMI (DLAMI) e i container di deep learning di Amazon semplificano l'implementazione di ambienti di deep learning P4d in pochi minuti poiché contengono le librerie e gli strumenti del framework di deep learning richiesti. Puoi anche aggiungere facilmente le tue librerie e strumenti a queste immagini. Le istanze P4d supportano i framework ML più diffusi come TensorFlow, PyTorch e MXNet. Inoltre, le istanze P4d sono supportate dai principali servizi AWS per il machine learning, la gestione e l'orchestrazione come Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), Batch AWS e AWS ParallelCluster.

Caratteristiche

Le GPU NVIDIA A100 Tensor Core offrono un'accelerazione senza precedenti su larga scala per il machine learning e HPC. I Tensor Core di terza generazione di NVIDIA A100 accelerano ogni carico di lavoro di precisione, velocizzando il time to insight e il time to market. Ogni GPU A100 offre oltre 2,5 volte le prestazioni di calcolo rispetto alla precedente generazione di GPU V100 e viene fornita con 40 GB HBM2 (nelle istanze P4d) o 80 GB HBM2e (nelle istanze P4de) di memoria GPU ad alte prestazioni. Una maggiore memoria GPU avvantaggia in particolare quei carichi di lavoro che si addestrano su grandi set di dati di dati ad alta risoluzione. Le GPU NVIDIA A100 utilizzano la velocità di trasmissione effettiva di interconnessione GPU NVSwitch in modo che ogni GPU possa comunicare ogni altra GPU alla stessa velocità di trasmissione effettiva bidirezionale a 600 GB/s e con latenza a singolo hop.

Le istanze P4d forniscono una rete a 400 Gbps per aiutare i clienti a impiegare meglio la scalabilità orizzontale per i loro carichi di lavoro distribuiti come l’addestramento multi-nodo in modo più efficiente con reti a velocità di trasmissione effettiva elevata tra istanze P4d e tra un'istanza P4d e servizi di archiviazione come Amazon Simple Storage Service (Amazon S3) e FSx per Lustre. EFA è un'interfaccia di rete personalizzata progettata da AWS per aiutare a scalare le applicazioni ML e HPC su migliaia di GPU. Per ridurre ulteriormente la latenza, EFA è accoppiato con NVIDIA GPUDirect RDMA per consentire la comunicazione tra GPU a bassa latenza tra i server con bypass del sistema operativo.

Accedi a velocità di trasmissione effettiva elevata e a bassa latenza su scala petabyte con FSx per Lustre o a un’archiviazione conveniente e virtualmente illimitata con Amazon S3 a velocità di 400 Gb/s. Per i carichi di lavoro che richiedono un accesso rapido a set di dati di grandi dimensioni, ogni istanza P4d include anche un’archiviazione SSD basata su NVMe da 8 TB con velocità trasmissione effettiva di lettura di 16 GB/s.

Le istanze P4d sono basate su AWS Nitro System, che è una ricca raccolta di elementi costitutivi che consente di scaricare molte delle tradizionali funzioni di virtualizzazione su hardware e software dedicati per offrire elevate prestazioni, alta disponibilità e alta sicurezza riducendo al contempo il sovraccarico della virtualizzazione.

Testimonianze dei clienti

Ecco alcuni esempi di come clienti e partner hanno raggiunto i loro obiettivi aziendali con le istanze Amazon EC2 P4.

  • Toyota Research Institute (TRI)

    Il Toyota Research Institute (TRI), fondato nel 2015, sta lavorando per sviluppare la guida automatizzata, la robotica e altre tecnologie di amplificazione umana per Toyota.

    In TRI, stiamo lavorando per costruire un futuro in cui tutti abbiano la libertà di muoversi. Le istanze P3 della generazione precedente ci hanno aiutato a ridurre il tempo necessario per addestrare i modelli di ML da giorni a ore e non vediamo l'ora di utilizzare le istanze P4d, poiché la memoria GPU aggiuntiva e i formati float più efficienti consentiranno al nostro team di machine learning di addestrare con più modelli complessi a una velocità ancora maggiore.

    Mike Garrison, Technical Lead, Infrastructure Engineering, TRI
  • TRI-AD

    In TRI-AD, stiamo lavorando per costruire un futuro in cui tutti abbiano la libertà di muoversi ed esplorare con l'obiettivo di ridurre gli infortuni e le vittime dei veicoli utilizzando la guida adattiva e la smart city. Grazie all'utilizzo delle istanze Amazon EC2 P4d, siamo riusciti a ridurre il tempo di addestramento per il riconoscimento degli oggetti del 40% rispetto alle istanze GPU della generazione precedente senza alcuna modifica ai codici esistenti.

    Junya Inada, Director of Automated Driving (Recognition), TRI-AD
  • TRI-AD

    Grazie all'utilizzo delle istanze Amazon EC2 P4d, siamo stati in grado di ridurre istantaneamente i nostri costi di addestramento rispetto alle istanze GPU della generazione precedente, consentendoci di aumentare il numero di team che lavorano sull’addestramento del modello. I miglioramenti della rete in P4d ci hanno permesso di scalare in modo efficiente a dozzine di istanze, il che ci ha dato una notevole agilità per ottimizzare, riqualificare e distribuire rapidamente modelli in auto di prova o ambienti di simulazione per ulteriori test.

    Jack Yan, Senior Director of Infrastructure Engineering, TRI-AD
  • GE Healthcare

    GE Healthcare è un leader mondiale nell'innovazione di tecnologie mediche e soluzioni digitali GE Healthcare consente ai medici di prendere decisioni più rapide e informate attraverso dispositivi intelligenti, analisi dei dati, applicazioni e servizi, supportati dalla sua piattaforma di intelligence Edison.

    In GE Healthcare, forniamo ai medici strumenti che li aiutano ad aggregare i dati, applicare l'intelligenza artificiale e l'analisi a tali dati e scoprire approfondimenti che migliorano i risultati dei pazienti, guidano l'efficienza ed eliminano gli errori. I nostri dispositivi di imaging medico generano enormi quantità di dati che devono essere elaborati dai nostri data scientist. Con i precedenti cluster GPU, ci sarebbero voluti giorni per addestrare modelli AI complessi, come i GAN progressivi, per le simulazioni e visualizzare i risultati. L'utilizzo delle nuove istanze P4d ha ridotto i tempi di elaborazione da giorni a ore. Abbiamo riscontrato una velocità da due a tre volte maggiore sui modelli di addestramento con varie dimensioni dell'immagine, ottenendo prestazioni migliori con una maggiore dimensione del lotto e una maggiore produttività con un ciclo di sviluppo del modello più rapido.

    Karley Yoder, VP & GM, Artificial Intelligence, GM Healthcare
  • HEAVY.AI

    HEAVY.AI è un pioniere nel settore dell'analisi accelerata. La piattaforma HEAVY.AI viene utilizzata nel mondo degli affari e della pubblica amministrazione per trovare approfondimenti nei dati oltre i limiti degli strumenti di analisi tradizionali.

    In HEAVY.AI stiamo lavorando per costruire un futuro in cui data science e analisi dei dati convergono per abbattere e fondere i silo di dati. I clienti stanno sfruttando le loro enormi quantità di dati che possono includere posizione e ora per costruire un quadro completo non solo di ciò che sta accadendo, ma anche di quando e dove accade, attraverso la visualizzazione granulare dei dati spazio-temporali. La nostra tecnologia consente di vedere sia la foresta che gli alberi. Attraverso l'utilizzo delle istanze Amazon EC2 P4d, siamo stati in grado di ridurre significativamente i costi di implementazione della nostra piattaforma rispetto alle istanze GPU della generazione precedente, quindi di dimensionare in modo conveniente enormi set di dati. I miglioramenti della rete su A100 hanno aumentato le nostre efficienze nel modo in cui ridimensioniamo miliardi di righe di dati e hanno permesso ai nostri clienti di raccogliere informazioni ancora più velocemente.

    Ray Falcione, VP of US Public Sector, HEAVY.AI
  • Zenotech Ltd.

    Zenotech Ltd sta ridefinendo l'ingegneria online attraverso l'uso di HPC Clouds offrendo modelli di licenza on demand insieme a vantaggi prestazionali estremi sfruttando le GPU.

    In Zenotech stiamo sviluppando gli strumenti per consentire ai progettisti di creare prodotti più efficienti e rispettosi dell'ambiente. Lavoriamo in tutti i settori e i nostri strumenti forniscono maggiori informazioni sulle prestazioni del prodotto attraverso l'uso di simulazioni su larga scala. "L'utilizzo delle istanze AWS P4d ci consente di eseguire le nostre simulazioni 3,5 volte più velocemente rispetto alla precedente generazione di GPU. Questa accelerazione riduce significativamente i nostri tempi di risoluzione, consentendo ai nostri clienti di immettere i progetti sul mercato più rapidamente o di eseguire simulazioni con una fedeltà più elevata rispetto a quanto fosse possibile in precedenza.

    Jamil Appa, Director e Cofounder, Zenotech
  • Aon

    Aon è un'azienda leader a livello mondiale di servizi professionali che fornisce un'ampia gamma di soluzioni per rischi, pensioni e salute. Aon PathWise è una soluzione di gestione del rischio HPC basata su GPU e scalabile che assicuratori e riassicuratori, banche e fondi pensione possono utilizzare per affrontare le sfide chiave di oggi come i test delle strategie di copertura, le previsioni normative ed economiche e il budget. 

    In PathWise Solutions Group LLC, il nostro prodotto consente alle compagnie assicurative, ai riassicuratori e ai fondi pensione di accedere alla tecnologia di prossima generazione per risolvere rapidamente le sfide assicurative chiave di oggi come il machine learning, i test delle strategie di copertura, i rapporti normativi e finanziari, la pianificazione aziendale e le previsioni economiche e sviluppo di nuovi prodotti e prezzi. Attraverso l'utilizzo delle istanze P4d di Amazon EC2 siamo in grado di offrire incredibili miglioramenti in termini di velocità per i calcoli a precisione singola e doppia rispetto alle istanze GPU della generazione precedente per i calcoli più impegnativi, consentendo ai clienti di eseguire una nuova gamma di calcoli e previsioni per il più prima volta. La velocità è importante e noi continuiamo a fornire ai nostri clienti valore significativo e la tecnologia più recente grazie alle nuove istanze di AWS.

    Van Beach, Global Head of Life Solutions presso Aon Pathwise Strategy and Technology Group
  • Rad AI

    Unendo esperti di radiologia e IA, Rad AI crea prodotti che massimizzano la produttività dei radiologi, rendendo in definitiva l'assistenza sanitaria di gran lunga più accessibile e migliorando i risultati per i pazienti. Leggi il caso di studio per ulteriori informazioni

    In Rad AI, la nostra missione è aumentare l'accesso e la qualità dell'assistenza sanitaria, per tutti. Concentrandosi sul flusso di lavoro di imaging medico, Rad AI fa risparmiare tempo ai radiologi, riduce il burnout e migliora la precisione. Utilizziamo l'intelligenza artificiale per automatizzare i flussi di lavoro di radiologia e contribuire a semplificare i referti radiologici. Con le nuove istanze EC2 P4d, abbiamo riscontrato un'inferenza più rapida e la capacità di addestrare i modelli 2,4 volte più velocemente, con una precisione maggiore rispetto alle istanze P3 della generazione precedente. Ciò consente una diagnosi più rapida e precisa e un maggiore accesso a servizi di radiologia di alta qualità forniti dai nostri clienti negli Stati Uniti.

    Doktor Gurson, Cofounder, Rad AI

Dettagli prodotto

Dimensioni istanza vCPU Memoria istanza (GiB) GPU - A100 Memoria GPU Larghezza di banda della rete (Gbps) GPUDirect RDMA Peer to peer GPU Archiviazione dell'istanza (GB) Larghezza di banda EBS (Gb/s) Prezzo on demand/h Istanza riservata effettiva di 1 anno all’ora Istanza riservata effettiva di 3 anno all’ora
p4d.24xlarge 96 1152 8 320 GB
HBM2
400 ENA e EFA NVSwitch a 600 Gb/s 8 x 1000 SSD NVMe 19 32,77 USD 19,22 USD 11,57 USD
p4de.24xlarge (anteprima) 96 1152 8 640 GB
HBM2e
400 ENA e EFA NVSwitch a 600 Gb/s 8 x 1000 SSD NVMe 19 40,96 USD 24,01 USD 14,46 USD
* I prezzi sono calcolati per Linux/Unix nella Regione AWS Stati Uniti orientali (Virginia settentrionale) e arrotondati al centesimo più vicino. Per ulteriori dettagli, consulta la pagina dei prezzi di Amazon EC2.

Le istanze P4d sono disponibili nelle regioni Stati Uniti orientali (Virginia settentrionale e Ohio), Stati Uniti occidentali (Oregon), Asia Pacifico (Seoul e Tokyo) ed Europa (Francoforte e Irlanda). Le istanze P4de sono disponibili nelle regioni Stati Uniti orientali (Virginia settentrionale) e Stati Uniti occidentali (Oregon).

I clienti possono ora acquistare le istanze P4d e P4de come istanze on demand, istanze riservate, istanze spot, host dedicati o come parte di Savings Plan.

Guida introduttiva alle istanze P4d per ML

Amazon SageMaker è un servizio completamente gestito per la creazione, l’addestramento e l’implementazione di modelli ML. È possibile utilizzare decine, centinaia o migliaia di GPU per addestrare un modello più rapidamente senza dover configurare pipeline di dati e cluster, nel caso in cui si associno all’uso di istanze P4d.

DLAMI fornisce ai professionisti e agli esperti di ML l'infrastruttura e gli strumenti necessari per velocizzare i processi di deep learning nel cloud, su qualsiasi scala. I container deep learning sono immagini Docker preinstallate con framework di deep learning che semplificano la distribuzione di ambienti di machine learning personalizzati in modo rapido poiché ti consentono di saltare il complicato processo di creazione e ottimizzazione di ambienti ex novo.

Se preferisci gestire i tuoi carichi di lavoro containerizzati tramite i servizi di orchestrazione dei container, puoi implementare le istanze P4d con Amazon EKS o Amazon ECS.