发布于: Apr 21, 2020
从今天开始，PyTorch 客户可以使用 TorchServe，它是一种新的 PyTorch 模型服务框架，用于大规模部署经过训练的模型，无需编写自定义代码。
PyTorch 是一种开源机器学习框架，最开始由 Facebook 创建，现已在 ML 研究人员和数据科学家中广泛使用，得益于其易用性及“前瞻性”界面。但是，在生产中部署和管理模型往往是机器学习过程中的最困难部分，需要客户编写预测 API 并对其进行扩展。
TorchServe 使得在生产环境中大规模部署 PyTorch 模型变得轻松简单。它可以提供低延迟的轻量级服务，让您能够部署模型，实现高性能推理。它提供的默认处理程序适用于最常见的应用程序，如对象检测和文本分类，使您无需编写自定义代码即可部署模型。借助强大的 TorchServe 功能，包括多模型服务、适用于 A/B 测试的模型版本控制、监控指标以及适用于应用程序集成的 RESTful 终端节点，您可以快速将模型从研究推向生产。TorchServe 支持任何机器学习环境，包括 Amazon SageMaker、Kubernetes、Amazon EKS 和 Amazon EC2。
TorchServe 由 AWS 与 Facebook 协作构建和维护，作为 PyTorch 开源项目的一部分提供。若要开始使用，请参阅 TorchServe GitHub 存储库和文档。