发布于: Jan 18, 2019
Amazon Elastic Inference 这一服务让您能够向任何 Amazon SageMaker 或 Amazon EC2 实例类型添加加速器，以便加快深度学习推理工作负载的速度。Elastic Inference 加速器能够以更低的成本（最高节省 75%）加快 GPU 的速度，并且实现低延迟和高吞吐量优势。您可以使用 Elastic Inference 部署 TensorFlow、Apache MXNet 和 ONNX 模型进行推理。
Amazon Elastic Inference 现在支持最新版本的 TensorFlow 1.12。其提供了 EIPredictor 这种易于使用的新 Python API，用于使用 Amazon Elastic Inference 加速器来部署 TensorFlow 模型。EIPredictor 支持简单的实验，让您可以比较使用和不使用 Amazon Elastic Inference 时的性能。要详细了解如何使用 Amazon Elastic Inference 运行 TensorFlow 模型，请参阅此博客文章。