張貼日期: Apr 4, 2018

Apache MXNet Model Server (MMS) 是開放來源模型服務工具,設計用於簡化大規模部署深度學習模型的程序。MMS 0.3 版可讓開發人員使用預先構建的針對 Amazon EC2 執行個體上深度學習工作負載預先設定和最佳化的容器映像,設定可擴展的服務基礎設施用於生產。

容器映像會發佈至 Docker Hub,並針對 CPU 主機 (EC2 C5.2xlarge 執行個體) 和多 GPU 主機 (EC2 P3.8xlarge 執行個體) 預先設定與最佳化。MMS 還提供工具將 MXNet 和 ONNX 神經網路模型封裝至單個「模型封存」,其中包含服務模型需要的所有構件。

若要進一步了解 MMS,請瀏覽 Model Zoo說明文件