張貼日期: Jan 18, 2019

Amazon Elastic Inference 是一種服務,可讓您將加速器附加到任何 Amazon SageMaker 或 Amazon EC2 執行個體類型,以加速深度學習推論工作負載。Elastic Inference 加速器可提供 GPU 加速的低延遲和高輸送量優勢,而且價格更低廉 (可節省高達 75%)。您可以使用 Elastic Inference 部署 TensorFlow、Apache MXNet 和 ONNX 模型以進行推論。 

Amazon Elastic Inference 現在支援最新版 TensorFlow 1.12。它提供 EIPredictor,這是簡單易用的全新 Python API 函數,可使用 Amazon Elastic Inference 加速器部署 TensorFlow 模型。EIPredictor 可讓您輕鬆進行試驗,以及比較使用和未使用 Amazon Elastic Inference 的效能。要進一步了解使用 Amazon Elastic Inference 執行 TensorFlow 模型,請參閱這篇部落格文章

要了解 Amazon Elastic Inference,請參閱網頁使用者指南文件