使用 Amazon Elastic Inference 降低 PyTorch 的机器学习推理成本

您现在可以在 Amazon SageMaker、Amazon EC2 和 Amazon ECS 中使用 Amazon Elastic Inference 来加快 PyTorch 模型的推理速度并降低推理成本。适用于 EI 的增强 PyTorch 库也将在 Amazon SageMaker、AWS Deep Learning AMI 和 AWS Deep Learning Containers 中自动可用，从而确保您能够以极少的代码更改在生产环境中部署 PyTorch 模型。Elastic Inference 支持在 PyTorch 上以 TorchScript 编译的模型。要将 Elastic Inference 与 PyTorch 结合使用，您必须将您的 PyTorch 模型转换为 TorchScript，然后使用 Elastic Inference API 进行推理。如今，PyTorch 与 TensorFlow 和 Apache MXNet 一样，成为 Elastic Inference 支持的又一个深度学习框架。

借助 Elastic Inference，您可以为任何 Amazon EC2 实例、Amazon SageMaker 实例或 ECS 任务附加刚好适量的 GPU 支持的加速，从而最高可将运行深度学习推理的成本降低 75%。

开放 Amazon Elastic Inference的区域都支持适用于 Elastic Inference 的 PyTorch。有关更多信息，请参阅开发人员指南中的将 PyTorch 模型与 Elastic Inference 结合使用以及我们的博客文章“使用 Amazon Elastic Inference 降低 Amazon SageMaker 上 PyTorch 模型的机器学习推理成本”。