Inserito il: Nov 28, 2018
AWS Inferentia è un chip di inferenza di machine learning, progettato appositamente da AWS per fornire prestazioni di inferenza a bassa latenza, a throughput elevato e a un costo estremamente contenuto. AWS Inferentia supporta i framework di apprendimento approfondito di TensorFlow, Apache MXNet e PyTorch, oltre a i modelli che utilizzano il formato ONNX.
AWS Inferentia fornisce centinaia di TOPS (tera-operazioni al secondo) di throughput di inferenza per consentire a modelli complessi di effettuare previsioni rapide. Per prestazioni ancora maggiori, è possibile utilizzare più chip di AWS Inferentia in combinazione, per ottenere migliaia di TOPS di throughput.
AWS Inferentia sarà disponibile per l’utilizzo con Amazon SageMaker, Amazon EC2 e Amazon Elastic Inference. Per ulteriori informazioni su AWS Inferentia, consulta la pagina Web.