投稿日: Jan 18, 2019
Amazon Elastic Inference は、任意の Amazon EC2 および Amazon SageMaker インスタンスタイプにアクセラレーターをアタッチできるようにするサービスで、これによって深層学習の推論ワークロードを加速化することができます。Elastic Inference アクセラレーターを使用すると、大幅に (最大 75%) 削減されたコストで、GPU アクセラレーションの低レイテンシーかつ高スループットなメリットがもたらされます。Elastic Inference を使用して、TensorFlow、Apache MXNet、ONNX モデルを推論にデプロイできます。
Amazon Elastic Inference で、TensorFlow 1.12 の最新バージョンのサポートが開始されました。これによって、Amazon Elastic Inference アクセラレーターを使用した TensorFlow モデルのデプロイ用の、簡単に使用できる新しい Python API 関数である EIPredictor が提供されます。EIPredictor は簡単な実験を可能にし、Amazon Elastic Inference があった場合とない場合のパフォーマンスを比較できます。Amazon Elastic Inference を使用した TensorFlow モデルの実行についての詳細は、こちらのブログ記事をご覧ください。
Amazon Elastic Inference の詳細については、ウェブページおよびドキュメントユーザーガイドを参照してください。