Amazon SageMaker Edge Manager

スマートデバイスのフリート全体で ML モデルを効率的に管理および監視する

産業オートメーション、自律走行車、自動チェックアウトなど、ますます多くのアプリケーションで、エッジデバイスで実行される機械学習 (ML) モデルが必要になるため、新しいデータが利用可能になったときにリアルタイムで予測を行うことができます。Amazon SageMaker Neo は、エッジデバイス用に ML モデルを最適化するための最も簡単な方法です。クラウドで ML モデルを一度トレーニングして、任意のデバイスで実行できます。デバイスが急増するにつれて、顧客はフリート全体で何千ものデプロイモデルを実行する可能性があります。Amazon SageMaker Edge Manager を使用すると、スマートカメラ、ロボット、パーソナルコンピュータ、モバイルデバイスのフリートで ML モデルを最適化、保護、監視、および維持できます。

Amazon SageMaker Edge Manager は、エッジデバイスで実行されるソフトウェアエージェントを提供します。エージェントには、SageMaker Neo で自動的に最適化された ML モデルが付属しているため、モデルの最適化を利用するためにデバイスに Neo ランタイムをインストールする必要はありません。また、エージェントは予測データを収集し、データのサンプルをクラウドに送信して監視、ラベル付け、再トレーニングを行うため、モデルを長期にわたって正確に保つことができます。すべてのデータは、デプロイされたモデルの操作についてレポートする SageMaker Edge Manager ダッシュボードで表示できます。また、SageMaker Edge Manager を使用すると、アプリケーションの他の部分とは別にモデルを管理できるため、モデルとアプリケーションを個別に更新して、コストのかかるダウンタイムやサービスの中断といった状態を減らすことができます。SageMaker Edge Manager は、また、暗号でモデルに署名するため、モデルがクラウドからエッジデバイスに移動するときに改ざんされていないことを確認できます。

Amazon SageMaker Edge Manager とは何ですか?

エッジデバイスのフリート全体のモデルを管理する

さまざまなデバイス向けに ML モデルを最適化する

Amazon SageMaker Edge Manager は、CPU、GPU、組み込み ML アクセラレーターを搭載したデバイスなど、さまざまなエッジデバイスにデプロイするために ML モデルを自動的に最適化します。SageMaker Edge Manager は、トレーニングされたモデルを実行可能ファイルにコンパイルします。実行可能ファイルは、特定のパフォーマンス最適化を検出して適用し、ターゲットハードウェアでモデルを最大 25 倍高速に実行できるようにします。SageMaker Edge Manager を使用すれば、Android、iOS、Linux、および Windows ベースのマシンで推論を行うために、DarkNet、Keras、MXNet、PyTorch、TensorFlow、TensorFlow-Lite、ONNX、XGBoost などのさまざまなフレームワークを使用してトレーニング済みモデルを最適化およびパッケージ化することができます。

デバイスアプリケーションと簡単に統合

Amazon SageMaker Edge Manager は、オープンソースのリモートプロシージャ呼び出しである gRPC をサポートしています。これにより、Android Java、C#/.NET、Dart、Go、Java、Kotlin/JVM、Node.js、Objective-C、PHP、Python、Ruby、ウェブなど、一般的なプログラミング言語の API を介して、SageMaker Edge Manager を既存のエッジアプリケーションと統合できます。

継続的なモデル監視

Amazon SageMaker Edge Manager は、エッジデバイスからデータを収集し、サンプルをクラウドに送信して、SageMaker で分析および可視化します。品質の低下が検出された場合は、ダッシュボードですばやく見つけ出したり、Amazon CloudWatch を介してアラートを設定したりできます。 モデルの品質低下やモデルの変動は、モデルのトレーニングに使用されるデータと比較して予測に使用されるデータとの違い、または現実世界の変化によって引き起こされる可能性があります。たとえば、雪の画像でトレーニングされていないオブジェクト検出モデルは、現実の世界で雪景色に遭遇したときにうまく機能しません。

フリートダッシュボード

Amazon SageMaker Edge Manager はダッシュボードを提供するため、フリート全体の各デバイスで実行されているモデルのパフォーマンスを把握できます。ダッシュボードは、フリート全体の状態を視覚的に理解し、コンソールのダッシュボードから問題のあるモデルを特定する際に役に立ちます。問題が特定されたら、モデルのデータを収集してデータにラベルを付け直し、モデルを再トレーニングして、モデルを再度デプロイすることができます。

デバイスで複数のモデルを提供 – 近日公開

デバイス上で複数のモデルを同時にホストして実行する必要がある ML アプリケーションの場合、Amazon SageMaker Edge Manager を使用すれば、1 つ以上のクエリ (モデルのロード/アンロード、推論の実行) を複数のモデルに個別に送信し、モデルを追加または更新するときにハードウェアリソースの使用率を再調整する簡単なアプリケーションロジックをすぐに作成できるようになります。たとえば、セルフナビゲート型のロボットには、障害物を検出するためのオブジェクト検出モデル、障害物を認識するための分類モデル、および動作を決定するためのツリーベースのモデルが必要です。

モデルのレジストリとモデル系統 - 近日公開

間もなく、Amazon SageMaker Edge Manager でクラウドからエッジデバイスへのビルド・トレーニング・デプロイのワークフローを自動化し、各モデルのライフサイクルを追跡できるようになります。

お客様

Levnovo 顧客ロゴ

世界一の PC メーカーである Lenovo™ は、最近、Amazon SageMaker を最新の予知保全製品に組み込みました。 

「新しい SageMaker Edge Manager は、デプロイ後にモデルを最適化、監視、継続的に改善するために必要な手作業を排除する場合に役に立ちます。これにより、他の同等の機械学習プラットフォームよりモデルの実行速度が速くなり、メモリの使用量が減少することが期待されます。SageMaker Edge Manager を使用すれば、エッジで自動的にデータをサンプリングしてクラウドへと安全に送信し、デプロイ後も継続的にデバイスごとに各モデルの品質を監視できます。これにより、世界中のエッジデバイスでモデルをリモートで監視、改善、更新できると同時に、私たちとお客様の時間とコストを節約できます」

Igor Bergman、Lenovo バイスプレジデント、PC およびスマートデバイスのクラウドおよびソフトウェア。

Basler 顧客ロゴ

Basler AG は、産業、医療、輸送、その他のさまざまな市場に向けて高品質デジタルカメラとアクセサリーを提供する大手メーカーです。

「Basler AG は、製造、医療、小売業のアプリケーションなど、さまざまな業界でインテリジェントなコンピュータビジョンにおけるソリューションを提供しています。Amazon SageMaker Edge Manager によって実現された新機能でソフトウェアの提供を拡張できることを嬉しく思います。機械学習ソリューションのパフォーマンスと信頼性を確保するには、エッジデバイスの機械学習モデルを継続的に監視、維持、改善できる、スケーラブルなエッジツークラウド MLOps ツールが必要です。SageMaker Edge Manager を使用すれば、エッジで自動的にデータをサンプリングしてクラウドへと安全に送信し、デプロイ後も継続的にデバイスごとに各モデルの品質を監視できます。これにより、世界中のエッジデバイスでモデルをリモートで監視、改善、更新できると同時に、私たちとお客様の時間とコストを節約できます」

Mark Hebbel、Basler ソフトウェアソリューション責任者。

Amazon SageMaker Edge Manager の使用を開始する