投稿日: Mar 18, 2020
Amazon Elastic Inference をご利用いただくことで、Amazon SageMaker、Amazon EC2、Amazon ECS 内の PyTorch モデルで行う推論の速度を向上させながら、コストを削減することができます。PyTorch 用に拡張された EI のライブラリーは、自動的に Amazon SageMaker、AWS Deep Learning AMI、そして AWS Deep Learning Containers 内で利用可能になります。したがって、最小限のコード修正だけで PyTorch モデルの本稼働へのデプロイが行えます。Elastic Inference でサポートするのは、PyTorch の TorchScript コンパイル済みモデルです。Elastic Inference での PyTorch 利用には、まず、ご自身の PyTorch モデルを TorchScript に変換した上で、推論は Elastic Inference API を通じて行っていただく必要があります。今回、Elastic Inference がサポートする深層学習フレームワークの仲間として、TensorFlow と Apache MXNet に PyTorch が加わりました。
Elastic Inference では、適切な量の GPU アクセラレーションを Amazon SageMaker インスタンスや EC2 インスタンス、あるいは ECS タスクにアタッチすることで、深層学習による推論の実行コストを最大 75% まで削減できます。
Elastic Inference の PyTorch は、Amazon Elastic Inference が利用可能なリージョンでサポートされています。詳細については、開発者ガイドの「Using PyTorch Models with Elastic Inference」、およびブログ記事の「Reduce ML inference costs on Amazon SageMaker for PyTorch models using Amazon Elastic Inference」をご参照ください。