張貼日期: Mar 18, 2020
您現在可以使用 Amazon Elastic Inference 加快推論速度，並減少 Amazon SageMaker、Amazon EC2 和 Amazon ECS 中 PyTorch 模型的推論成本。Amazon SageMaker、AWS Deep Learning AMI 和 AWS Deep Learning Containers 可自動使用適用於 EI 的增強版 PyTorch 資料庫，您便可變更最少程式碼，在生產環境中部署 PyTorch 模型。Elastic Inference 支援 PyTorch 上使用 TorchScript 編譯的模型。若要搭配 PyTorch 使用 Elastic Inference，您必須將 PyTorch 模型轉換為 TorchScript，然後使用 Elastic Inference API 進行推論。PyTorch 現在結合 TensorFlow 和 Apache MXNet，變成由 Elastic Inference 支援的深度學習框架。
Elastic Inference 可讓您將適量的 GPU 支援加速功能連接到任何 Amazon SageMaker 執行個體、EC2 執行個體或 ECS 任務，最多可節省 75% 執行深度學習推論的成本。
提供 Amazon Elastic Inference 的區域均支援適用於 Elastic Inference 的 PyTorch。如需詳細資訊，請參閱開發人員指南中的「Using PyTorch Models with Elastic Inference」，以及我們的部落格文章「Reduce ML inference costs on Amazon SageMaker for PyTorch models using Amazon Elastic Inference」。