Amazon Elastic Inference

Aggiungi accelerazione GPU a qualsiasi istanza Amazon EC2 per un’inferenza più veloce a costi molto ridotti (fino al 75% di risparmio)

Amazon Elastic Inference consente di collegare accelerazione a basso costo basata su GPU alle istanze Amazon EC2 e Amazon SageMaker consentendoti di ridurre i costi di esecuzione dell'inferenza di apprendimento approfondito fino al 75%. Amazon Elastic Inference offre supporto per i modelli TensorFlow, Apache MXNet e ONNX e prevede più framework disponibili a breve.

Nella maggior parte delle applicazioni di apprendimento approfondito, fare previsioni tramite un modello addestrato (processo definito “inferenza”) può portare al consumo fino al 90% dei costi di elaborazione dell'applicazione a causa di due fattori. Prima di tutto, le istanze autonome GPU sono progettate per l'addestramento del modello e, di norma, sono sovradimensionate per l'inferenza. Mentre i processi di addestramento in batch elaborano centinaia di campioni di dati in contemporanea, la maggior parte dell’inferenza avviene su un singolo input in tempo reale che consuma solo una piccola quantità di elaborazione della GPU. Anche durante il picco di carico, la capacità di elaborazione di una GPU potrebbe non essere completamente utilizzata e ciò è dispendioso e costoso. In secondo luogo, modelli diversi richiedono quantità diverse di risorse GPU, CPU e memoria. La scelta di un tipo di istanza GPU abbastanza grande da soddisfare i requisiti della risorsa meno utilizzata si traduce, in molti casi, in sottoutilizzazione delle altre risorse e costi elevati.

Amazon Elastic Inference ti consente ti risolvere questi problemi tramite il collegamento della giusta quantità di accelerazione di inferenza basata su GPU a qualsiasi tipo di istanza EC2 o SageMaker senza modifiche al codice. Con Amazon Elastic Inference, è ora possibile scegliere il tipo di istanza più adatto alle esigenze complessive di CPU e memoria dell'applicazione, quindi configurare separatamente la quantità di accelerazione inferenziale necessaria per utilizzare le risorse in modo efficiente e ridurre i costi di esecuzione di inferenza.

Presentazione di Amazon Elastic Inference

Vantaggi

Riduce i costi di inferenza fino al 75%

Amazon Elastic Inference ti consente di scegliere il tipo di istanza più adatto alle esigenze complessive di elaborazione e memoria dell'applicazione. È quindi possibile specificare in modo separato la quantità di accelerazione di inferenza di cui hai bisogno. Ciò riduce i costi di inferenza fino al 75% dal momento che l’inferenza non richiede di effettuare un provisioning eccessivo di elaborazione della GPU.

Ottieni esattamente ciò di cui hai bisogno

Amazon Elastic Inference può fornire un minimo di TFLOPS a precisione singola (trilioni di operazioni in virgola mobile al secondo) di accelerazione di inferenza o fino a 32 TFLOPS a precisione mista. Questo è un intervallo di calcolo delle inferenze molto più considerevole rispetto a quello offerto da un'istanza autonoma P3 di Amazon EC2 che prevede un limite di 1.000 TFLOPS. Ad esempio, un semplice modello di elaborazione del linguaggio potrebbe richiedere solo un TFLOPS per l’esecuzione dell'inferenza, mentre un modello sofisticato di visione artificiale potrebbe aver bisogno fino a 32 TFLOPS.

Rispondi ai cambiamenti della domanda

I gruppi di Amazon EC2 Auto Scaling consentono di ricalibrare in modo semplice la quantità di accelerazione di inferenza in entrambe le direzioni e di soddisfare le esigenze dell'applicazione senza necessità di provisioning eccessivo. Quando il servizio EC2 Auto Scaling aumenta le istanze EC2 per soddisfare la crescente domanda, ricalibra in modo automatico anche l'acceleratore collegato per ciascuna istanza. Allo stesso modo, quando le riduce in caso di diminuzione della domanda, ridimensiona automaticamente l'acceleratore collegato per ciascuna istanza. Questo ti consente di pagare solo per l’uso e consumo effettivi.

Supporto per i framework più popolari

Amazon Elastic Inference offre supporto per i modelli TensorFlow e Apache MXNet con framework aggiuntivi disponibili a breve.

tensorflow_logo_200px
mxnet_150x50
Blog: Amazon Elastic Inference – Accelerazione di inferenza basata su GPU
28 novembre 2018
 
Product-Page_Standard-Icons_01_Product-Features_SqInk
Scopri le caratteristiche del prodotto

Ulteriori informazioni sulle caratteristiche di Amazon Elastic Inference.

Ulteriori informazioni 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Registrati per creare un account gratuito

Ottieni accesso istantaneo al piano gratuito di AWS. 

Registrati 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Inizia subito nella console

Inizia subito con Amazon Elastic Inference su Amazon SageMaker o Amazon EC2.

Accedi