Passa al contenuto principale

Amazon EC2

Istanze DL1 di Amazon EC2

Costo di addestramento ridotto per i modelli di deep learning

Perché scegliere le istanze DL1 di Amazon EC2?

Le istanze DL1 di Amazon EC2 con tecnologia degli acceleratori Gaudi di Habana Labs (una società Intel) forniscono modelli di deep learning con costi di addestramento ridotti per i casi d'uso di elaborazione del linguaggio naturale, rilevamento oggetti e riconoscimento di immagini. Le istanze DL1 offrono un rapporto tra prezzo e prestazioni superiore del 40% rispetto alle attuali istanze EC2 basate su GPU per l'addestramento di modelli di Deep Learning.

Le istanze DL1 di Amazon EC2 dispongono di 8 acceleratori Gaudi, ciascuno con una memoria ad alta larghezza di banda (HBM) da 32 GB, una memoria di sistema da 768 GiB, processori personalizzati Intel Xeon scalabili di seconda generazione, una velocità effettiva di rete di 400 GB al secondo e 4 TB di archiviazione locale NVMe.

Le istanze DL1 includono l'Habana SynapseAI® SDK integrato con i migliori framework di machine learning come TensorFlow e PyTorch.

Puoi avviare facilmente le istanze DL1, utilizzando le AMI di AWS Deep Learning o gli AWS Deep Learning Containers o Amazon EKS ed ECS per le applicazioni containerizzate. Il supporto per le istanze DL1 su Amazon SageMaker arriverà presto.

Panoramica video sulle nuove istanze DL1 di Amazon EC2

Vantaggi

    Le istanze DL1 offrono un rapporto prezzo/prestazioni superiore del 40% rispetto alle nostre ultime istanze EC2 basate su GPU per l'addestramento di modelli di deep learning. Queste istanze hanno dei Gaudi Accelerator costruiti appositamente per addestrare modelli di Deep Learning. È anche possibile ottenere un ulteriore risparmio utilizzando EC2 Savings Plan per ridurre in maniera significativa il costo di addestramento dei tuoi modelli di deep learning.

    Iniziare a utilizzare le istanze DL1 è facile per gli sviluppatori a prescindere dalla loro esperienza. Possono continuare a utilizzare i loro servizi di gestione del flusso di lavoro con le AMI di Deep Learning di AWS e i container di Deep Learning per muovere i primi passi con le istanze DL1. Gli utenti avanzati possono anche costruire dei kernel personalizzati per ottimizzare le prestazioni del loro modello utilizzando i Tensor Processing Core programmabili di Gaudi. (TPC). Grazie agli strumenti di Habana SynapseAI®, è possibile migrare facilmente i modelli esistenti in esecuzione su istanze basate su GPU o CPU direttamente su istanze DL1 con cambiamenti minimi di codice.

    Le istanze DL1 supportano i principali framework di ML come TensorFlow e PyTorch e consentono di continuare a utilizzare i propri flussi di lavoro di ML preferiti. Puoi accedere a modelli ottimizzati come Mask R-CNN per l'identificazione di oggetti e BERT per l'elaborazione del linguaggio naturale nel repository GitHub di Habana per creare, addestrare e implementare velocemente i tuoi modelli. La vasta libreria di kernel per Tensor Processing Core (TPC) di SynapseAI supporta un'ampia gamma di operatori e diversi tipi di dati per una serie di esigenze di modelli e prestazioni.

Caratteristiche

    Le istanze DL1 sono alimentate dagli acceleratori Gaudi di Habana Labs (una società Intel), che dispongono di otto TPC completamente programmabili e 32 GiB di memoria a larghezza di banda elevata per acceleratore. Hanno un'architettura di calcolo eterogenea per massimizzare l'efficienza di addestramento e un motore centrale configurabile per le operazioni matematiche con le matrici. Contano anche sull'unica integrazione nativa di settore da dieci porte Ethernet da 100 Gigabit per ogni acceleratore Gaudi così da garantire una comunicazione a bassa latenza tra gli acceleratori.

    L’SDK di SynapseAI® è composto da un compilatore di grafi e runtime, una libreria di kernel TPC, firmware, driver e strumenti. È integrato con i maggiori framework come TensorFlow e PyTorch. Le sue librerie di comunicazione aiutano a dimensionare rapidamente verso l'alto diversi accelerator utilizzando le stesse operazioni che utilizzi adesso per le istanze basate su GPU. Questo dimensionamento deterministico genera un maggiore utilizzo e una maggiore efficienza per un'ampia gamma di topologie di reti neurali. Con gli strumenti SynapseAI®, è possibile integrare ed eseguire facilmente i modelli esistenti su istanze DL1 con cambiamenti di codice minimi.

    Le istanze DL1 offrono un throughput di rete da 400 Gbps e una connettività ad Amazon Elastic Fabric Adapter (EFA) e Adattatore elastico di rete (ENA) Amazon per le applicazioni che hanno bisogno di accedere alla rete ad alta velocità. Le istanze DL1 includono anche 4 TB di archiviazione locale NVMe e consentono di raggiungere un throughput di lettura di 8 GB al secondo per un accesso rapido a set di dati molto vasti.

    Le istanze DL1 sono basate su AWS Nitro System, una ricca raccolta di componenti di base che trasferisce molte delle tradizionali funzioni di virtualizzazione su hardware e software dedicati per offrire prestazioni elevate, alta disponibilità e sicurezza, riducendo al contempo il sovraccarico della virtualizzazione.

Dettagli del prodotto

Dimensioni istanza
vCPU
Memoria istanza (GiB)
Acceleratori Gaudi
Larghezza di banda della rete (Gbps)
Acceleratore bidirezionale peer-to-peer (Gbps)
Archiviazione dell'istanza (GB)
Larghezza di banda EBS (Gbps)
On demand (prezzo all’ora)
Istanza riservata effettiva di 1 anno all'ora
Istanza riservata effettiva di 3 anni all'ora*
dl1.24xlarge

96

768

8

400

100

4 x 1000 
SSD NVMe

19

13,11 USD

7,87 USD

5,24 USD

*I prezzi mostrati sono validi nelle seguenti regioni: Stati Uniti orientali (Virginia settentrionale) e Stati Uniti occidentali (Oregon).

 

Seagate

Seagate Technology è stata un leader mondiale per 40 anni offrendo soluzioni di gestione e archiviazione di dati. Gli ingegneri specializzati in data science e machine learning di Seagate hanno costruito un sistema avanzato di rilevamento di difetti basato sul deep learning (DL) e l'hanno distribuito a livello mondiale in strutture di produzione aziendali. In un recente progetto di proof of concept, Gaudi di Habana ha superato gli obiettivi prestazionali nell'addestramento di uno dei modelli DL di segmentazione semantica utilizzato attualmente nella produzione di Seagate. 

“Ci aspettiamo che il grande vantaggio nel rapporto prezzo/prestazioni delle istanze DL1 di Amazon EC2, con la tecnologia degli acceleratori Gaudi di Habana, possa diventare un'importante aggiunta per il futuro dei cluster di calcolo AWS. Mentre Habana Labs continua a evolversi permettendo una maggiore copertura degli operatori, c'è il potenziale per espandersi verso ulteriori casi d'uso aziendali, e quindi ottenere un ulteriore risparmio sui costi.”

Darrell Louder, Senior Engineering Director of Operations, Technology and Advanced Analytics presso Seagate
Missing alt text value

Leidos

Leidos è uno dei primi 10 fornitori di IT attivo nel settore sanitario e offre una vasta gamma di soluzioni personalizzabili e scalabili per ospedali, sistemi sanitari e organizzazioni biomediche, nonché per tutte le agenzie federali degli Stati Uniti che si occupano di salute. 

“Una delle diverse tecnologie che oggi stiamo applicando ai fini del progresso della sanità è l'utilizzo di machine learning e di deep learning per la diagnosi di malattie basata sui dati di diagnostica per immagini. I nostri enormi set di dati necessitano di un addestramento tempestivo ed efficiente per aiutare i ricercatori che stanno cercando di risolvere alcuni degli urgenti casi medici più misteriosi. Considerata la necessità per Leidos e per i suoi clienti di un addestramento rapido, semplice ed economicamente sostenibile per i modelli di deep learning, siamo entusiasti di aver iniziato questo viaggio insieme a Intel e AWS per utilizzare le istanze DL1 di Amazon EC2 basate sui processori IA Habana Gaudi. Dall'utilizzo delle istanze DL1 ci aspettiamo un aumento dell'efficienza e della velocità di addestramento dei modelli, con una conseguente riduzione dei rischi e dei costi di ricerca e sviluppo.”

Chetan Paul, CTO Health and Human Services presso Leidos
Missing alt text value

Intel

Intel ha creato una tecnologia di tracciamento 3D dell'atleta che analizza in tempo reale i video dell'atleta in azione per informare i processi di addestramento delle prestazioni e migliorare l'esperienza del pubblico durante le gare.

“Addestrare i nostri modelli sulle istanze DL1 di Amazon EC2 con la tecnologia degli acceleratori Gaudi di Habana Labs ci permetterà di elaborare in modo accurato e affidabile migliaia di video e di generare i dati prestazionali associati, il tutto riducendo i costi di addestramento. Grazie alle istanze DL1, addestriamo con la velocità e i costi necessari per offrire un servizio efficace agli atleti, alle squadre e agli enti radiotelevisivi di tutti i livelli per una vasta gamma di sport.”

Rick Echevarria, Vice President, Sales and Marketing Group presso Intel
Missing alt text value

Riskfuel

Riskfuel fornisce valutazioni in tempo reale e sensibili ai rischi alle società che gestiscono portafogli finanziari, aiutandole a far accrescere precisione e prestazioni di trading.

“Sono due i fattori che ci hanno portato a scegliere le istanze DL1 di Amazon EC2 basate sugli acceleratori IA Gaudi di Habana. Prima di tutto volevamo essere sicuri che i nostri clienti delle assicurazioni e delle banche potessero eseguire i modelli Riskfuel basati sugli hardware più recenti. Per fortuna, migrare i nostri modelli verso le istanze DL1 è stato semplice e intuitivo: davvero, si è trattato solo di cambiare alcune linee di codice. In secondo luogo, i costi di addestramento sono tra le nostre maggiori voci di spesa, e la promessa di un miglioramento del rapporto prezzo/prestazioni fino al 40% offre potenzialmente un vantaggio sostanziale al nostro lavoro.”

Ryan Ferguson, CEO presso Riskfuel
Missing alt text value

Fractal


Fractal è un leader mondiale nel campo dell'intelligenza artificiale e dell'analisi dei dati, migliorando le scelte delle società Fortune 500.
 

“L'IA e il deep learning sono al centro della nostra capacità di visione artificiale e permettono ai clienti di prendere decisioni migliori in tutti i settori di cui ci occupiamo. Per migliorare la precisione, i set di dati stanno diventando più grandi e complessi e necessitano, di conseguenza, di modelli più grandi e complessi. Questo sta spingendo la necessità di prestazioni e prezzi di calcolo migliorati. Le nuove istanze DL1 di Amazon EC2 promettono una riduzione significativa dei costi di addestramento rispetto alle istanze EC2 basate su GPU. Ci aspettiamo che questo renda l'addestramento dei modelli di IA sul cloud molto più accessibile e con un costo più contenuto rispetto al passato per un'ampia gamma di clienti.”

Srikanth Velamakanni, Group CEO presso Fractal
Missing alt text value

Nozioni di base

Gli AWS Deep Learning AMI (DLAMI) e gli AWS Deep Learning Containers (DLC)

Gli AWS Deep Learning AMI (DLAMI) e AWS Deep Learning Containers (DLC) forniscono ai Data Scientist, a chi lavora con il ML e ai ricercatori le macchine e le immagini container preinstallate nei framework di Deep Learning per semplificare l'inizio facendoti saltare il complicato processo di creazione e ottimizzazione dei tuoi ambienti software da zero. Il SynapseAI SDK per i Gaudi Accelerator è integrato nei DL AMI e nei DLC di AWS permettendoti di iniziare velocemente a utilizzare le istanze DL1.

Amazon Elastic Kubernetes Service (EKS) o Elastic Container Service (ECS)

I clienti che preferiscono gestire i propri carichi di lavoro containerizzati tramite i servizi di orchestrazione di container possono distribuire le istanze DL1 con Amazon EKS o ECS.

Hai trovato quello che cercavi?

Facci sapere la tua opinione in modo da migliorare la qualità dei contenuti delle nostre pagine