張貼日期: Apr 21, 2020
從今天開始，PyTorch 的客戶可使用 TorchServe，一種新的 PyTorch 模型服務框架，大規模部署經過訓練的模型，無須撰寫自訂程式碼。
PyTorch 是開放原始碼的機器學習框架，最初由 Facebook 所建，後來因容易使用和其 Python 式的界面，而在 ML 研究人員和資料科學家之間變得炙手可熱。然而，部署和管理生產中的模型往往是機器學習過程中最困難的部分，需要客戶寫入預測 API 並加以擴展。
TorchServe 讓在生產環境中大規模部署 PyTorch 變得更加輕鬆。TorchServe 提供具低延遲的輕量服務，讓您能部署高效能推論的模型。還針對最常見的應用程式，如物件偵測和文字分類，提供預設處理常式，讓您無須撰寫自訂程式碼就能部署模型。有了強大的 TorchServe 功能，包括多模組服務、A/B 測試的模組版本控制、監測指標和應用程式整合的 RESTful 端點，您可以快速將模型從研究投入生產。TorchServe 支援任何機器學習環境，包括 Amazon SageMaker、Kubernetes、Amazon EKS 和 Amazon EC2。
TorchServe 由 AWS 與 Facebook 攜手建立和維護，且做為 PyTorch 開放原始碼專案的一部分提供。若要開始使用，請參閱 TorchServe GitHub 儲存庫和文件。