投稿日: Apr 21, 2020
本日より、PyTorch のお客様に PyTorch 用の新しいモデル配信フレームワークである TorchServe をご利用いただけるようになりました。本製品を使用することで、カスタムコードを書く必要なく、トレーニングしたモデルを大規模にデプロイできます。
PyTorch はオープンソースの機械学習フレームワークで、もともとは Facebook によって開発され、快適な使用感や「Python 風」のインターフェイスから ML の研究者やデータサイエンティストらの間で人気を集めるようになりました。しかし、本番環境へのモデルのデプロイや管理はしばしば、顧客が予測 API を記述し、それをスケーリングする必要があるため、機械学習のプロセスで最も困難な部分となっていました。
TorchServe を使用することで、本番環境への大規模な PyTorch モデルのデプロイが容易になります。この製品は軽量かつ低レイテンシーであるため、モデルをデプロイしてパフォーマンスの高い推論を実現できます。オブジェクト検出、テキスト分類など、最も一般的なアプリケーション向けのデフォルトのハンドラーが用意されているため、モデルをデプロイするときにカスタムコードを記述する必要がありません。TorchServe には、マルチモデル配信、A/B テスト用のモデルのバージョン管理、モニタリング用のメトリクス、アプリケーション統合用の RESTful エンドポイントなどの強力な機能が備わっているため、研究段階から本番にモデルを一気に進めることができます。TorchServe では Amazon SageMaker、Kubernetes、Amazon EKS、Amazon EC2 などのさまざまな機械学習環境がサポートされています。
TorchServe は AWS が Facebook との連携により構築および管理するもので、PyTorch オープンソースプロジェクトの一環として利用できます。使用を開始するには、TorchServe GitHub レポジトリとドキュメントを参照してください。