投稿日: Nov 28, 2018
AWS Inferentia は、AWS が特別に設計した機械学習推論チップで、高スループット、低レイテンシーの推論パフォーマンスを非常に低いコストで実現します。AWS Inferentia では、TensorFlow、Apache MXNet、PyTorch 深層学習フレームワーク、ONNX 形式を使用するモデルをサポートしています。
AWS Inferentia を使用すると数百 TOPS (Tera Operations Per Second) の推論スループットを実現できるため、複雑なモデルでも予測を高速に実行できます。複数の AWS Inferentia チップを使用して数千 TOPS のスループットを実現し、パフォーマンスをさらに高めることも可能です。
AWS Inferentia は Amazon SageMaker、Amazon EC2、Amazon Elastic Inference でご利用いただけます。AWS Inferentia の詳細については、ウェブページを参照してください。