Amazon Elastic Inference では、Amazon EC2 および SageMaker インスタンスまたは Amazon ECS タスクに低コストの GPU アクセラレーションをアタッチすることで、ディープラーニングの推論を実行するコストを最大 75% まで削減できます。Amazon Elastic Inferenceは、TensorFlow、Apache MXNet、PyTorch、および ONNX モデルをサポートします。

推論は、トレーニングされたモデルを使用して予測を行うプロセスです。ディープラーニングアプリケーションでは、2 つの理由から推論が総運用コストの最大 90% を占めます。まず、スタンドアロンの GPU インスタンスは一般的にモデルトレーニング用に設計されており、推論向けではありません。トレーニングジョブは数百のデータサンプルを同時にバッチ処理しますが、通常、推論ジョブはリアルタイムで単一の入力を処理するため、少量の GPU コンピューティングを消費します。これにより、スタンドアロン GPU の推論におけるコスト効率が低下します。一方、スタンドアロン CPU インスタンスは行列演算に特化していないため、ディープラーニングの推論に使用するには遅すぎることがよくあります。次に、モデルごとに CPU、GPU、およびメモリの要件が異なります。1 つのリソースを最適化すると、他のリソースが十分に活用されず、コストが高くなる可能性があります。

Amazon Elastic Inference は、コードを変更せずに任意の EC2 または SageMaker インスタンスタイプまたは ECS タスクに適切な量の GPU を搭載した推論アクセラレーションをアタッチできるようにすることで、これらの問題を解決します。Amazon Elastic Inference を使用すると、アプリケーションの全体的なコンピューティングとメモリのニーズに最も適した AWS の CPU インスタンスを選択し、GPU を利用した推論アクセラレーションを適切な量だけ個別に設定できるため、リソースを効率的に利用してコストを削減できます。