張貼日期: Jan 18, 2019
Amazon Elastic Inference 是一種服務,可讓您將加速器附加到任何 Amazon SageMaker 或 Amazon EC2 執行個體類型,以加速深度學習推論工作負載。Elastic Inference 加速器可提供 GPU 加速的低延遲和高輸送量優勢,而且價格更低廉 (可節省高達 75%)。您可以使用 Elastic Inference 部署 TensorFlow、Apache MXNet 和 ONNX 模型以進行推論。
Amazon Elastic Inference 現在支援最新版 TensorFlow 1.12。它提供 EIPredictor,這是簡單易用的全新 Python API 函數,可使用 Amazon Elastic Inference 加速器部署 TensorFlow 模型。EIPredictor 可讓您輕鬆進行試驗,以及比較使用和未使用 Amazon Elastic Inference 的效能。要進一步了解使用 Amazon Elastic Inference 執行 TensorFlow 模型,請參閱這篇部落格文章。