投稿日: Apr 4, 2018
Apache MXNet Model Server (MMS) は大規模なディープラーニングモデルのデプロイをシンプルにするよう設計された、オープンソースのモデルサービングツールです。MMS version 0.3 では Amazon EC2 上のインスタンスにあるディープラーニング負荷用に予め設定最適化したプレビルドされたコンテナイメージを使って、本番環境用のスケーラブルサービングインフラをセットアップできます。
コンテナイメージはDocker Hub に公開され、CPU ホスト (EC2 C5.2xlarge instance ) やマルチ GPU ホスト (EC2 P3.8xlarge instance) の両方に合うように予め設定され最適化されています。MMSもMXNetや ONNX のニューラルネットワークモデルを1つの「モデルアーカイブ」にパッケージするツールを提供していますが、これにはモデルをサーブするのに必要なアーティファクトも全て含まれます。
MMSについて詳しくは Model Zoo やドキュメンテーション をご覧ください。