投稿日: Nov 28, 2018
Amazon Elastic Inference では、Amazon EC2 および Amazon SageMaker インスタンスに適切な量の GPU アクセラレーションをアタッチすることで、深層学習推論の実行コストを最大 75％ まで削減できます。Amazon Elastic Inference は現在、TensorFlow、Apache MXNet、および ONNX モデルをサポートしており、追加のフレームワークも今後提供する予定です。
Amazon Elastic Inference を使用すると、アプリケーションの全体的な CPU とメモリのニーズに最も適したインスタンスタイプを選択し、必要な推論アクセラレーションの程度をコードを変更することなく個別に設定できます。これにより、リソースを効率的に使用し、推論を実行するコストを削減できます。Amazon Elastic Inference の詳細については、サービスの詳細ページをご覧ください。