Amazon Elastic Inference

GPU アクセラレーションを Amazon EC2 インスタンスに追加すると、より低コストで推論を高速化 (最大 75% 削減)

Amazon Elastic Inference では、Amazon EC2 および Amazon SageMaker インスタンスに低コストの による GPU アクセラレーションをアタッチすることで、深層学習の推論を実行するコストを最大 75% まで削減できます。 Amazon Elastic Inference は、TensorFlow、Apache MXNet、および ONNX モデルをサポートしており、さらにたくさんのフレームワークが近日中に提供される予定です。

深層学習アプリケーションでは、トレーニングモデル (推論と呼ばれるプロセス) を使用して予測を行うと、2 つの要因によってアプリケーションのコンピューティングコストの 90% を促進することができます。まず、スタンドアロンの GPU インスタンスはモデルトレーニング用に設計されており、一般的には推論の際にサイズが大きくなります。トレーニングジョブは数百のデータサンプルを同時にバッチ処理しますが、ほとんどの推論はリアルタイムでの入力 1 つで、少量の GPU コンピューティングのみを消費できます。負荷のピーク時には、GPU のコンピューティング能力が完全に活用されないことがあるため、無駄なコストやたくさんのコストが生じます。次に、異なるモデルでは、GPU、CPU、およびメモリリソースの容量と異なる必要があります。最小限のリソース要件を満たすのに十分な大きさの GPU インスタンスタイプを選択すると、他のリソース使用が不十分になり、コストが高くなることがあります。

Amazon Elastic Inference は、コードを変更せずに任意の EC2 または SageMaker インスタンスタイプに適切な量の GPU による推論アクセラレーションをアタッチできるようにすることで、これらの問題を解決します。Amazon Elastic Inference を使用すると、アプリケーションの全体的な CPU とメモリのニーズに最も適したインスタンスタイプを選択し、リソースを効率的に使用して推論実行コストを削減するために必要な推論アクセラレーションの程度を個別に設定できます。

Amazon Elastic Inference の紹介

利点

推論コストを最大 75% まで削減

Amazon Elastic Inference では、アプリケーションの全体的なコンピューティングおよびメモリのニーズに最も適したインスタンスタイプを選択できます。その後、必要な推論アクセラレーションの程度を個別に指定できます。これにより、推論の GPU コンピューティングを多めにプロビジョニングする必要がなくなり、推論コストを最大 75% まで削減します。

必要なものを正確に入手する方法

Amazon Elastic Inference は、推論アクセラレーションの単精度で最低 TFLOPS ( 1 秒あたり 1 兆の浮動小数点演算) または混合精度で最大 32 TFLOPS を提供します。これは、スタンドアロン Amazon EC2 P3 インスタンスによって提供される 1,000 TFLOPS の範囲よりもはるかに適切な推論コンピューティングの範囲です。例えば、単純な言語処理モデルでは、推論をうまく実行するために 1 つの TFLOPS のみを必要としますが、高度なコンピュータビジョンモデルでは最大 32 TFLOPSが必要になることがあります。

需要変化への対応

容量を多めにプロビジョニングせずにアプリケーションの需要を満たすために、需要の変化に対応する Amazon EC2 Auto Scaling グループを使用して、推論アクセラレーションの程度を簡単にスケールできます。EC2 Auto Scaling は、需要の増加に対応するように EC2 インスタンスを増加させ、各インスタンスにアタッチされたアクセラレーターを自動的にスケールアップします。同様に、需要の減少につれて EC2 インスタンスが減少すると、インスタンスごとにアタッチされているアクセラレーターも自動的にスケールダウンされます。これにより、必要なものに必要なときだけお支払いいただけます。

人気のあるフレームワークのサポート

Amazon Elastic Inference は、TensorFlow および Apache MXNet モデルをサポートしており、さらに追加フレームワークが近日中に提供される予定です。

tensorflow_logo_200px
mxnet_150x50
ブログ: Amazon Elastic Inference – GPU による推論アクセラレーション
2018 年 11 月 28 日
 
Product-Page_Standard-Icons_01_Product-Features_SqInk
製品の特徴を見る

Amazon Elastic Inference 特徴の詳細をご覧ください。

詳細 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
無料のアカウントにサインアップ

AWS 無料利用枠にすぐにアクセスできます。 

サインアップ 
Product-Page_Standard-Icons_03_Start-Building_SqInk
コンソールで構築を開始する

Amazon SageMaker または Amazon EC2 で Amazon Elastic Inference を開始します。

サインイン