投稿日: Apr 22, 2020
Amazon SageMaker のお客様は、リアルタイム推論用の機械学習モデルのデプロイ時に、Inf1 インスタンスを選択できるようになりました。Amazon SageMaker は、開発者とデータサイエンティストが機械学習モデルをあらゆる規模で迅速かつ簡単に構築、トレーニング、デプロイできるようにする完全マネージド型のサービスです。顧客は Amazon SageMaker で Inf1 インスタンスを使用して、大規模な機械学習および画像認識、音声認識、自然言語処理、パーソナライゼーション、予測、不正検出などの深層学習推論アプリケーションを高パフォーマンスで実行し、コストを大幅に削減できます。
Inf1 インスタンスは、機械学習推論アプリケーションをサポートするために最初から構築され、深層学習推論のコストを最適化するために AWS によって設計および構築された最大 16 の AWS Inferentia チップを備えています。Inferentia チップは、最新のカスタムの第 2 世代 Intel® Xeon® スケーラブルプロセッサおよび 100 Gbps ネットワークと組み合わされています。機械学習推論アプリケーションを使用すれば、最も安価のコストで業界最高のパフォーマンスを体験できます。インスタンスごとに 1〜16 個の AWS Inferentia チップを備えた Inf1 インスタンスは、最大 2000 テラオペレーション/秒 (TOPS) のパフォーマンスに拡張でき、AWS GPU ベースのインスタンスと比較して最大 3 倍のスループットと推論あたり最大 45% 低いコストを実現できます。Inf1 インスタンスで使用される AWS Inferentia チップの大容量オンチップメモリにより、機械学習モデルをチップに直接キャッシュできるため、推論中に外部メモリリソースにアクセスする必要がなくなり、低レイテンシーと推論スループットを実現できます。Inf1 インスタンスの詳細については、製品ページを参照してください。
Amazon SageMaker の Inf1 インスタンスが米国のバージニア北部とオレゴンの AWS リージョンで、そして 4 つのサイズ (ml.inf1.xlarge、ml.inf1.2xlarge、ml.inf1.6xlarge、および ml.inf1.24xlarge) で利用可能になりました。TensorFlow および MxNet フレームワークを使用して開発された機械学習モデルは、Amazon SageMaker の Inf1 インスタンスにデプロイしてリアルタイムで推論できます。Amazon SageMaker で Inf1 インスタンスを使用するには、Amazon SageMaker Neo を使用してトレーニング済みモデルをコンパイルし、Inf1 インスタンスを選択して、コンパイルされたモデルを Amazon SageMaker にデプロイできます。
Amazon SageMaker の Inf1 インスタンスに機械学習モデルをデプロイする方法については、Amazon SageMaker 開発者ガイドと Github の Amazon SageMaker の例をご覧ください。
変更 (2021 年 8 月 27 日) - 優れたエクスペリエンスを保証する取り組みの一環として、この記事の期限切れリンクを更新、または元の記事から削除しました。