Inserito il: Jan 18, 2019
Amazon Elastic Inference è un servizio che consente di collegare acceleratori a qualsiasi tipo di istanza Amazon SageMaker o Amazon EC2 per velocizzare i carichi di lavoro di inferenza di apprendimento profondo. Gli acceleratori Elastic Inference offrono bassa latenza e grandi vantaggi di throughput sull’accelerazione basata su GPU a costi notevolmente ridotti (fino al 75%). Ora è possibile utilizzare Elastic Inference per distribuire i modelli TensorFlow, Apache MXNet e ONNX per l’esecuzione dell’inferenza.
Amazon Elastic Inference ora supporta l’ultima versione di TensorFlow 1.12. Inoltre, fornisce EIPredictor, una nuova funzione API Python pronta per l’uso nella distribuzione di modelli TensorFlow utilizzando gli acceleratori di Amazon Elastic Inference. EIPredictor permette di sperimentare più facilmente e comparare le prestazioni con e senza Amazon Elastic Inference. Per ulteriori informazioni sui modelli TensorFlow eseguiti utilizzando Amazon Elastic Inference, consulta questo blog.
Per ulteriori informazioni su Amazon Elastic Inference, visita la pagina Web e la documentazione per l’utente.