AWS Inferentia

AWS Inferentia è un chip di inferenza di machine learning progettato per fornire prestazioni elevate a costi contenuti. AWS Inferentia supporta i framework di apprendimento approfondito di TensorFlow, Apache MXNet e PyTorch, oltre a i modelli che utilizzano il formato ONNX.

Effettuare previsioni utilizzando un modello di machine learning addestrato – un processo che si definisce "inferenza" – può assorbire fino al 90% dei costi di elaborazione dell'applicazione. Utilizzando Amazon Elastic Inference, gli sviluppatori possono ridurre i costi di inferenza fino al 75% collegando l'accelerazione dell'inferenza basata su GPU alle istanze di Amazon EC2 e Amazon SageMaker. Tuttavia, alcuni carichi di lavoro di inferenza richiedono un'intera GPU oppure una latenza estremamente bassa. Una soluzione economica a questo problema comporta l'impiego di un chip di inferenza dedicato.

AWS Inferentia offre throughput elevato e prestazioni di inferenza a bassa latenza ad un costo estremamente basso. Ogni chip fornisce centinaia di TOPS (tera-operazioni al secondo) di throughput di inferenza per consentire a modelli complessi di effettuare previsioni rapide. Per prestazioni ancora maggiori, è possibile utilizzare più chip di AWS Inferentia in combinazione, per ottenere migliaia di TOPS di throughput. AWS Inferentia sarà disponibile per l’utilizzo con Amazon SageMaker, Amazon EC2 e Amazon Elastic Inference.

Registrati per ricevere notifiche sulla disponibilità del servizio

Per ricevere notifiche sulla disponibilità di AWS Inferentia, registrati qui e ti invieremo un'e-mail non appena saranno disponibili più informazioni.