- Amazon EC2›
- Tipi di istanza›
- Istanze DL1
Istanze DL1 di Amazon EC2
Costo di addestramento ridotto per i modelli di deep learning
Perché scegliere le istanze DL1 di Amazon EC2?
Le istanze DL1 di Amazon EC2 con tecnologia degli acceleratori Gaudi di Habana Labs (una società Intel) forniscono modelli di deep learning con costi di addestramento ridotti per i casi d'uso di elaborazione del linguaggio naturale, rilevamento oggetti e riconoscimento di immagini. Le istanze DL1 offrono un rapporto tra prezzo e prestazioni superiore del 40% rispetto alle attuali istanze EC2 basate su GPU per l'addestramento di modelli di Deep Learning.
Le istanze DL1 di Amazon EC2 dispongono di 8 acceleratori Gaudi, ciascuno con una memoria ad alta larghezza di banda (HBM) da 32 GB, una memoria di sistema da 768 GiB, processori personalizzati Intel Xeon scalabili di seconda generazione, una velocità effettiva di rete di 400 GB al secondo e 4 TB di archiviazione locale NVMe.
Le istanze DL1 includono l'Habana SynapseAI® SDK integrato con i migliori framework di machine learning come TensorFlow e PyTorch.
Puoi avviare facilmente le istanze DL1, utilizzando le AMI di AWS Deep Learning o gli AWS Deep Learning Containers o Amazon EKS ed ECS per le applicazioni containerizzate. Il supporto per le istanze DL1 su Amazon SageMaker arriverà presto.
Panoramica video sulle nuove istanze DL1 di Amazon EC2
Vantaggi
-
Le istanze DL1 offrono un rapporto prezzo/prestazioni superiore del 40% rispetto alle nostre ultime istanze EC2 basate su GPU per l'addestramento di modelli di deep learning. Queste istanze hanno dei Gaudi Accelerator costruiti appositamente per addestrare modelli di Deep Learning. È anche possibile ottenere un ulteriore risparmio utilizzando EC2 Savings Plan per ridurre in maniera significativa il costo di addestramento dei tuoi modelli di deep learning.
-
Iniziare a utilizzare le istanze DL1 è facile per gli sviluppatori a prescindere dalla loro esperienza. Possono continuare a utilizzare i loro servizi di gestione del flusso di lavoro con le AMI di Deep Learning di AWS e i container di Deep Learning per muovere i primi passi con le istanze DL1. Gli utenti avanzati possono anche costruire dei kernel personalizzati per ottimizzare le prestazioni del loro modello utilizzando i Tensor Processing Core programmabili di Gaudi. (TPC). Grazie agli strumenti di Habana SynapseAI®, è possibile migrare facilmente i modelli esistenti in esecuzione su istanze basate su GPU o CPU direttamente su istanze DL1 con cambiamenti minimi di codice.
-
Le istanze DL1 supportano i principali framework di ML come TensorFlow e PyTorch e consentono di continuare a utilizzare i propri flussi di lavoro di ML preferiti. Puoi accedere a modelli ottimizzati come Mask R-CNN per l'identificazione di oggetti e BERT per l'elaborazione del linguaggio naturale nel repository GitHub di Habana per creare, addestrare e implementare velocemente i tuoi modelli. La vasta libreria di kernel per Tensor Processing Core (TPC) di SynapseAI supporta un'ampia gamma di operatori e diversi tipi di dati per una serie di esigenze di modelli e prestazioni.
Caratteristiche
-
Le istanze DL1 sono alimentate dagli acceleratori Gaudi di Habana Labs (una società Intel), che dispongono di otto TPC completamente programmabili e 32 GiB di memoria a larghezza di banda elevata per acceleratore. Hanno un'architettura di calcolo eterogenea per massimizzare l'efficienza di addestramento e un motore centrale configurabile per le operazioni matematiche con le matrici. Contano anche sull'unica integrazione nativa di settore da dieci porte Ethernet da 100 Gigabit per ogni acceleratore Gaudi così da garantire una comunicazione a bassa latenza tra gli acceleratori.
-
L’SDK di SynapseAI® è composto da un compilatore di grafi e runtime, una libreria di kernel TPC, firmware, driver e strumenti. È integrato con i maggiori framework come TensorFlow e PyTorch. Le sue librerie di comunicazione aiutano a dimensionare rapidamente verso l'alto diversi accelerator utilizzando le stesse operazioni che utilizzi adesso per le istanze basate su GPU. Questo dimensionamento deterministico genera un maggiore utilizzo e una maggiore efficienza per un'ampia gamma di topologie di reti neurali. Con gli strumenti SynapseAI®, è possibile integrare ed eseguire facilmente i modelli esistenti su istanze DL1 con cambiamenti di codice minimi.
-
Le istanze DL1 offrono un throughput di rete da 400 Gbps e una connettività ad Amazon Elastic Fabric Adapter (EFA) e Adattatore elastico di rete (ENA) Amazon per le applicazioni che hanno bisogno di accedere alla rete ad alta velocità. Le istanze DL1 includono anche 4 TB di archiviazione locale NVMe e consentono di raggiungere un throughput di lettura di 8 GB al secondo per un accesso rapido a set di dati molto vasti.
Le istanze DL1 sono basate su AWS Nitro System, una ricca raccolta di componenti di base che trasferisce molte delle tradizionali funzioni di virtualizzazione su hardware e software dedicati per offrire prestazioni elevate, alta disponibilità e sicurezza, riducendo al contempo il sovraccarico della virtualizzazione.
Dettagli del prodotto
|
Dimensioni istanza
|
vCPU
|
Memoria istanza (GiB)
|
Acceleratori Gaudi
|
Larghezza di banda della rete (Gbps)
|
Acceleratore bidirezionale peer-to-peer (Gbps)
|
Archiviazione dell'istanza (GB)
|
Larghezza di banda EBS (Gbps)
|
On demand (prezzo all’ora)
|
Istanza riservata effettiva di 1 anno all'ora
|
Istanza riservata effettiva di 3 anni all'ora*
|
|---|---|---|---|---|---|---|---|---|---|---|
|
dl1.24xlarge
|
96 |
768 |
8 |
400 |
100 |
4 x 1000
|
19 |
13,11 USD |
7,87 USD |
5,24 USD |
*I prezzi mostrati sono validi nelle seguenti regioni: Stati Uniti orientali (Virginia settentrionale) e Stati Uniti occidentali (Oregon).
Seagate
Seagate Technology è stata un leader mondiale per 40 anni offrendo soluzioni di gestione e archiviazione di dati. Gli ingegneri specializzati in data science e machine learning di Seagate hanno costruito un sistema avanzato di rilevamento di difetti basato sul deep learning (DL) e l'hanno distribuito a livello mondiale in strutture di produzione aziendali. In un recente progetto di proof of concept, Gaudi di Habana ha superato gli obiettivi prestazionali nell'addestramento di uno dei modelli DL di segmentazione semantica utilizzato attualmente nella produzione di Seagate.
“Ci aspettiamo che il grande vantaggio nel rapporto prezzo/prestazioni delle istanze DL1 di Amazon EC2, con la tecnologia degli acceleratori Gaudi di Habana, possa diventare un'importante aggiunta per il futuro dei cluster di calcolo AWS. Mentre Habana Labs continua a evolversi permettendo una maggiore copertura degli operatori, c'è il potenziale per espandersi verso ulteriori casi d'uso aziendali, e quindi ottenere un ulteriore risparmio sui costi.”
Leidos
Leidos è uno dei primi 10 fornitori di IT attivo nel settore sanitario e offre una vasta gamma di soluzioni personalizzabili e scalabili per ospedali, sistemi sanitari e organizzazioni biomediche, nonché per tutte le agenzie federali degli Stati Uniti che si occupano di salute.
“Una delle diverse tecnologie che oggi stiamo applicando ai fini del progresso della sanità è l'utilizzo di machine learning e di deep learning per la diagnosi di malattie basata sui dati di diagnostica per immagini. I nostri enormi set di dati necessitano di un addestramento tempestivo ed efficiente per aiutare i ricercatori che stanno cercando di risolvere alcuni degli urgenti casi medici più misteriosi. Considerata la necessità per Leidos e per i suoi clienti di un addestramento rapido, semplice ed economicamente sostenibile per i modelli di deep learning, siamo entusiasti di aver iniziato questo viaggio insieme a Intel e AWS per utilizzare le istanze DL1 di Amazon EC2 basate sui processori IA Habana Gaudi. Dall'utilizzo delle istanze DL1 ci aspettiamo un aumento dell'efficienza e della velocità di addestramento dei modelli, con una conseguente riduzione dei rischi e dei costi di ricerca e sviluppo.”
Intel
Intel ha creato una tecnologia di tracciamento 3D dell'atleta che analizza in tempo reale i video dell'atleta in azione per informare i processi di addestramento delle prestazioni e migliorare l'esperienza del pubblico durante le gare.
“Addestrare i nostri modelli sulle istanze DL1 di Amazon EC2 con la tecnologia degli acceleratori Gaudi di Habana Labs ci permetterà di elaborare in modo accurato e affidabile migliaia di video e di generare i dati prestazionali associati, il tutto riducendo i costi di addestramento. Grazie alle istanze DL1, addestriamo con la velocità e i costi necessari per offrire un servizio efficace agli atleti, alle squadre e agli enti radiotelevisivi di tutti i livelli per una vasta gamma di sport.”
Riskfuel
Riskfuel fornisce valutazioni in tempo reale e sensibili ai rischi alle società che gestiscono portafogli finanziari, aiutandole a far accrescere precisione e prestazioni di trading.
“Sono due i fattori che ci hanno portato a scegliere le istanze DL1 di Amazon EC2 basate sugli acceleratori IA Gaudi di Habana. Prima di tutto volevamo essere sicuri che i nostri clienti delle assicurazioni e delle banche potessero eseguire i modelli Riskfuel basati sugli hardware più recenti. Per fortuna, migrare i nostri modelli verso le istanze DL1 è stato semplice e intuitivo: davvero, si è trattato solo di cambiare alcune linee di codice. In secondo luogo, i costi di addestramento sono tra le nostre maggiori voci di spesa, e la promessa di un miglioramento del rapporto prezzo/prestazioni fino al 40% offre potenzialmente un vantaggio sostanziale al nostro lavoro.”
Fractal
Fractal è un leader mondiale nel campo dell'intelligenza artificiale e dell'analisi dei dati, migliorando le scelte delle società Fortune 500.
“L'IA e il deep learning sono al centro della nostra capacità di visione artificiale e permettono ai clienti di prendere decisioni migliori in tutti i settori di cui ci occupiamo. Per migliorare la precisione, i set di dati stanno diventando più grandi e complessi e necessitano, di conseguenza, di modelli più grandi e complessi. Questo sta spingendo la necessità di prestazioni e prezzi di calcolo migliorati. Le nuove istanze DL1 di Amazon EC2 promettono una riduzione significativa dei costi di addestramento rispetto alle istanze EC2 basate su GPU. Ci aspettiamo che questo renda l'addestramento dei modelli di IA sul cloud molto più accessibile e con un costo più contenuto rispetto al passato per un'ampia gamma di clienti.”
Nozioni di base
Gli AWS Deep Learning AMI (DLAMI) e gli AWS Deep Learning Containers (DLC)
Amazon Elastic Kubernetes Service (EKS) o Elastic Container Service (ECS)
Hai trovato quello che cercavi?
Facci sapere la tua opinione in modo da migliorare la qualità dei contenuti delle nostre pagine