Amazon SageMaker Neo

モデルを一度トレーニングすれば、最大 2 倍のパフォーマンスでどこでも実行可能

Amazon SageMaker Neo を使用すると、開発者は Machine Learning モデルを一度トレーニングすれば、そのモデルをクラウドやエッジのどこでも実行できます。Amazon SageMaker Neo は、精度を低下させることなく、10 分の 1 未満のメモリフットプリントでも 2 倍の速度でモデルを実行できるよう最適化します。

開発者は多くの時間と労力を費やして、リアルタイムで高スループットで低レイテンシーの予測を行うことができる精度の高い Machine Learning モデルを提供しています。このことはメモリと処理能力が非常に制限される傾向があるエッジデバイスでは特に重要で、なによりレイテンシーはとても重要です。たとえば、自動運転車のセンサーは、通常、1000 分の 1 秒でデータを処理する必要があるため、クラウドを通したやり取りは不可能です。また、エッジデバイス用のさまざまなハードウェアプラットフォームとプロセッサアーキテクチャが幅広く用意されています。高いパフォーマンスを実現するために、開発者は数週間から数か月間かけて各モデルを手動で調整する必要があります。また、チューニングプロセスが複雑であるということは、エッジに展開した後にモデルが更新されることがほとんどないということです。開発者は、エッジデバイスが収集したデータに基づいてモデルを再テストし、改善する機会を逃してしまいます。

Amazon SageMaker Neo は、Machine Learning モデルを自動的に最適化し、精度を損なうことなく最大 2 倍の速度までパフォーマンスを向上させます。MXNet、TensorFlow、PyTorch、XGBoost のいずれかを使用して構築され、かつ Amazon SageMaker を使用してトレーニングされた Machine Learning モデルの使用を開始します。続けて、Intel、 NVIDIA、ARM からターゲットハードウェアプラットフォームを選択します。ワンクリックで、SageMaker Neo がトレーニングされたモデルを実行可能ファイルにコンパイルします。コンパイラはニューラルネットワークを使用し、ターゲットハードウェアプラットフォームで最も効率的にモデルを実行できるパフォーマンスの最適化をすべて検出して適用します。モデルを展開し、クラウドまたはエッジで予測を開始することができます。AWS Greengrass を使用すると、ローカルコンピューティングと ML 推論機能をエッジデバイスに導入することができます。エッジの展開を容易にするために、AWS Greengrass は Neo で最適化されたモデルをサポートしているため、Over the Air (OTA) アップデートによってモデルをエッジに直接デプロイできます。

Neo は、Apache TVM およびその他のパートナーが提供するコンパイラとカーネルライブラリーを使用します。Neo は、Apache Software License に基づく Neo-AI プロジェクトのようなオープンソースコードとしても利用可能です。また、開発者はさまざまなデバイスやアプリケーション用にソフトウェアをカスタマイズすることができます。

利点

最大 2 倍に改善されたパフォーマンスで ML モデルを実行

Amazon SageMaker Neo は、TensorFlow、MXNet、PyTorch、XGBoost の Machine Learning モデルを自動的に最適化し、精度を損なうことなく最大2倍の速度で実行します。深層学習を利用することで、SageMaker Neo は、特定のモデルのコード最適化およびモデルを展開するハードウェアのコード最適化を見つけ出して適用します。何週間もの労力をかけずにマニュアルチューニングのパフォーマンスにおける利点を得ることができます。



フレームワークのサイズを 10 倍縮小

Amazon SageMaker Neo は、モデルのフレームワークにおける一連のソフトウェア操作を予測に必要なものだけに削減します。通常の場合、フレームワークが必要とするメモリ量を 10 倍減らします。そうすることで、モデルとフレームワークは実稼働環境に展開できる単一の実行可能ファイルにコンパイルされ、高スループットで低レイテンシーの予測を行うことができます。 

複数のハードウェアプラットフォームで同じ ML モデルを実行します。

Amazon SageMaker Neo を使用すると、モデルをトレーニングし、実質的にどこでも単一の実行ファイルでモデルを実行できるようになります。Neo は、Intel、NVIDIA、ARM、Cadence、Qualcomm、Xilinx のプロセッサアーキテクチャのモデルを自動的に最適化する方法を推測することができ、Amazon SageMaker コンソールでわずか数回のクリックで、複数のプラットフォームにモデルを展開する準備が簡単にできます。 

仕組み

Product-Page-Diagram_Neo-How-it-Works

主な特徴

好みの深層学習のフレームワークを使用する

Amazon SageMaker Neo は、TensorFlow、MXNet、PyTorch のフレームワーク固有の関数と操作を、どこでも実行可能なコンパイルされた実行可能ファイルに変換します。Neo は自動的にコンパイルを行い、必要なソフトウェアコードを生成します。

簡単で効率的なソフトウェア操作

Amazon SageMaker Neo は、クラウドインスタンスとエッジデバイスに展開された実行可能ファイルを出力します。Neo のランタイムは、デプロイメントプラットフォームのストレージなどのリソースの使用量を 10 倍削減し、フレームワークの依存性を排除します。たとえば、ストレージを最大 1 GB 占有する可能性のあるフレームワークに依存する展開の場合、Neo のランタイムが占有するストレージは 2.5 MB ととなります。

オープンソースソフトウェア

Neo は、Apache Software License に基づく Neo-AI プロジェクトのようなオープンソースコードとしても利用可能です。これにより、開発者やハードウェアのベンダーは、アプリケーションやハードウェアのプラットフォームをカスタマイズし、Neo の最適化とリソース使用量を削減する技術を活用できるようになります。 

Product-Page_Standard-Icons_01_Product-Features_SqInk
Amazon SageMaker Neo の特徴を確認する

Amazon SageMaker Neo の使用方法については、マニュアルを参照してください。

Product-Page_Standard-Icons_02_Sign-Up_SqInk
無料のアカウントにサインアップ

AWS 無料利用枠にすぐにアクセスできます。 

サインアップ 
Product-Page_Standard-Icons_03_Start-Building_SqInk
AWS コンソールで構築を開始する

AWS マネジメントコンソールから Amazon SageMaker Neo を使った構築を開始しましょう。

サインイン 
50 以上の製品を無料でお試し
AWS 無料利用枠 ››
ご不明な点がおありですか?
日本担当チームへお問い合わせ ››