Inserito il: Dec 12, 2019
Ora è possibile allegare più acceleratori Amazon Elastic Inference a un'istanza Amazon EC2 singola. Grazie a questa funzionalità puoi utilizzare una singola istanza EC2 in un gruppo Auto Scaling quando esegui un'inferenza per più modelli. Allegando più acceleratori a una singola istanza puoi evitare la distribuzione di più gruppi Auto Scaling di istanze CPU o GPU per le inferenze e diminuire i costi operativi.
Amazon Elastic Inference consente di collegare la giusta quantità di accelerazione basata su GPU a qualsiasi tipo di istanza Amazon EC2 per ridurre fino al 75% il costo dell’esecuzione dell’inferenza di apprendimento approfondito. Poiché i modelli potrebbero avere bisogno di diverse quantità di memoria GPU e capacità di calcolo, puoi scegliere diverse dimensioni dell'acceleratore Elastic Inference da collegare all'istanza CPU. Per tempi di risposta più veloci puoi caricare i modelli su un acceleratore una volta e continuare a effettuare chiamate di inferenza senza scaricare i modelli.
La possibilità di aggiungere diversi acceleratori a un'istanza EC2 è supportata in tutte le regioni in cui Amazon Elastic Inference è disponibile. Per ulteriori informazioni sul collegamento di più acceleratori a una singola istanza, consulta Utilizzo dei modelli TensorFlow con Elastic Inference e Utilizzo dei modelli MXNet con Elastic Inference.