Model Server for Apache MXNet 引入 ONNX 支持和 Amazon CloudWatch 集成

今天，AWS 发布了 Model Server for Apache MXNet (MMS) 版本 0.2，这是一个打包深度学习模型和为模型提供服务的开源库，适用于进行大规模预测。现在，您可以 Open Neural Network Exchange (ONNX) 的形式为模型提供服务，并直接向 Amazon CloudWatch (可在其中创建控制面板和警报) 发布运维指标。

什么是 MMS？

MMS 是一个开源库，旨在简化深度学习模型的部署以进行大规模推理。MMS 提供以下功能：

提供可以将多个模型构件打包到单个模型存档中的工具。此存档封装了为模型提供服务所需的所有构件。
能够使用模型存档中打包的自定义代码自定义推理执行管道中的每个步骤。
提供预配置的服务堆栈，包括 REST API 终端节点和推理引擎。
在为可扩展模型提供服务方面，提供了 Docker 镜像，包括 MMS、MXNet 和 nginx。
提供实时运维指标，用于监控 MMS 和终端节点。

您可通过 PyPI (Python Package Index) 包、预配置的 Docker 镜像安装 MMS，也可直接通过 Model Server GitHub 存储库安装 MMS。

ONNX 模型服务简介

ONNX 实现了深度学习框架之间的互操作性。借助 MMS 版本 0.2，您可使用 MMS 为通过支持 ONNX 的任何框架创建的 ONNX 模型提供服务。其中包括 PyTorch、Caffe2、Microsoft Cognitive Toolkit (CNTK) 和 Chainer。

要开始为 ONNX 模型提供服务，请参阅 MMS ONNX 服务文档。

向 CloudWatch 发布模型服务指标

此版本包含与 CloudWatch 的集成，后者是一种适用于云资源和应用程序的监控服务。您可使用 CloudWatch 收集和跟踪指标、设置警报，并自动对变更做出反应。

MMS 现在直接与 CloudWatch API 集成，从而能够轻松向 CloudWatch 发布运维指标。能够近乎实时地监控运维指标对于任何生产服务都至关重要。

MMS 可报告各项模型服务指标，如请求计数、错误、延迟以及 CPU、内存和磁盘的主机资源使用率。借助 CloudWatch 集成，您可利用基于 Web 的控制面板、实时提供的指标，以及触发器和提醒配置功能。

要开始使用 MMS 与 CloudWatch 集成后提供的功能，请参阅 MMS CloudWatch 指标文档。

了解更多信息并做出贡献

要了解关于 MMS 的更多信息，请先学习我们的 Single Shot Multi Object Detection (SSD) 教程，本教程将引导您完成导出 SSD 模型和为其提供服务的所有步骤。您可在存储库的模型园和文档文件夹中找到更多示例和文档。

我们不会停止开发 MMS 的脚步，欢迎社区以提交问题、请求和贡献的形式积极参与。请访问 awslabs/mxnet-model-server，开始使用！

作者简介

Hagay Lupesko 是 AWS 深度学习的工程负责人。他专注于构建让开发人员和科学家能够创造智能应用程序的深度学习系统。在业余时间，他喜欢阅读、徒步旅行以及与家人共享天伦之乐。

Jonathan Esterhazy 是 AWS 深度学习的高级软件工程师。他负责构建工具和系统，为大规模训练和部署深度学习系统提供更多便利。

Ruofei Yu 是 AWS 深度学习的软件工程师。他专注于为软件工程师和科学家构建创新的深度学习工具。在业余时间，他喜欢与朋友和家人共度美好时光。

亚马逊AWS官方博客