Amazon Web Services ブログ

Model Server for Apache MXNet、ONNX サポートと Amazon CloudWatch の組み込みを開始

AWS は、大規模な予測を行うための深層学習モデルをパッケージ化してサービスを提供するオープンソースライブラリである Model Server for Apache MXNet (MMS) のバージョン 0.2 をリリースしました。それにより、Open Neural Network Exchange (ONNX) 形式でモデルを提供し、ダッシュボードとアラームを作成できる Amazon CloudWatch に直接、運用メトリックを公開できるようになります。

MMS とは?

MMS は、大規模の推論のための深層学習モデルの展開を簡素化するオープンソースライブラリです。MMS は、次の機能を備えています。

  • モデルアーティファクトを単一のモデルアーカイブにパッケージ化するためのツール。アーカーブはモデルを提供するために必要なすべてのアーティファクトをカプセル化します。
  • モデルアーカイブにパッケージ化されたカスタムコードを使用して、推論の実行パイプラインの各段階をカスタマイズする機能。
  • REST API エンドポイントと推論エンジンを含む、事前構成されたサービススタック。
  • スケーラブルなモデルの提供のために、MMS、MXNet、および nginx を含む Docker イメージ。
  • MMS およびエンドポイントを監視するためのリアルタイム運営メトリックス。

事前構成された Docker イメージである PyPI (Python Package Index) パッケージから、または Model Server GitHub リポジトリから直接、MMS をインストールできます。

ONNX モデルサービスの開始

ONNX は、複数の深層学習フレームワークの間の相互運用性を可能にします。MMS バージョン 0.2 では、ONNX をサポートするフレームワークで作成される ONNX モデルをサポートするために、MMS を使用できます。これには、PyTorch、Caffe2、Microsoft Cognitive Toolkit (CNTK)、および Chainer が含まれます。

ONNX モデルのサービスを開始するために、MMS ONNX サービスの資料を参照してください。

CloudWatch へのモデルサービスメトリックスの公開

このリリースには、クラウド リソースとアプリケーションのための監視サービスである CloudWatch が含まれています。CloudWatch を使用して、メトリックスの収集と追跡、アラームの設定、および変更への自動的な応答を行うことができます。

MMS は CloudWatch API と直接統合することができるため、CloudWatch に運用メトリックスを容易に公開できるようになります。運用メトリックスをほぼリアルタイムで監視することは、本番稼働用のサービスでは重要です。

MMS は、CPU、メモリ、およびディスクの要求数、エラー、レイテンシー、およびホストリソースの使用状況などのモデルサービスメトリックスを報告します。CloudWatch の統合では、ウェブベースのダッシュボード、リアルタイムでのメトリックスのレンダリング、およびトリガとアラートの設定機能を利用できます。

MMS の CloudWatch の統合を始めるには、MMS CloudWatch メトリックスの資料を参照してください。

詳細と貢献

MMS の詳細については、SSD モデルのエクスポートとサービスを通じて順を追って説明する Single Shot Multi Object Detection (SSD) チュートリアルを参照してください。リポジトリの Model Zoo とドキュメントフォルダーで、多くのサンプルと資料を参照できます。

MMS の開発を継続する中で、当社は質問、要求、および投稿として提出されるコミュニティへの参加を歓迎致します。awslabs/mxnet-model-server に移動して開始してください。

今回のブログの投稿者について

Hagay Lupesko は AWS 深層学習のエンジニアリングリーダーです。開発者やサイエンティストがインテリジェントアプリケーションを構築できるようにする深層学習システムを担当しています。そのかたわらで、読書、ハイキング、家族との時間を楽しんでいます。

Jonathan Esterhazy は、AWS 深層学習のシニアソフトウェアエンジニアです。彼は、ツールを構築し、大規模な深層学習システムをトレーニングして展開することを容易にしています。

Ruofei Yu は AWS 深層学習のソフトウェアエンジニアです。ソフトウェアエンジニアやサイエンティスト向けの革新的な深層学習ツールの構築を担当しています。友人や家族と時間を過ごすことが趣味です。