エッジデバイスでの機械学習モデルの運用をシンプル化する Amazon SageMaker Edge Manager

今日は、エッジデバイスフリートでの機械学習モデルの最適化、セキュア化、監視、および維持を容易にする Amazon SageMaker の新機能、Amazon SageMaker Edge Manager についてお知らせしたいと思います。

エッジコンピューティングが情報テクノロジーにおける最もエキサイティングな展開のひとつであることは明らかです。実際に、コンピューティング、ストレージ、ネットワーキング、およびバッテリテクノロジーの絶え間ない進歩のおかげで、組織は、製造、エネルギー、農業、およびヘルスケアなどのさまざまな産業用途のために、多数の埋め込みデバイスを世界のあらゆる場所で日常的にデプロイしています。シンプルなセンサーから大型の産業用マシンにおよぶデバイスには、望ましくない状態が検出された場合にアラートを送信するなど、データをキャプチャして分析し、措置を講じるという共通の目的があります。

機械学習 (ML) の幅広いビジネス問題を解決する能力はすでに実証されているため、お客様は、ローカルデータからより深い洞察を得るための取り組みの一環として、モデルをクラウドでトレーニングし、それらをエッジにデプロイすることでエッジへの ML の適用を試みておられますが、エッジデバイスの遠隔性と制約された性質により、エッジでのモデルのデプロイメントと管理は困難を極めることがよくあります。

たとえば、複雑なモデルは大きすぎて収まりきらないことがあり、お客様は小規模で精度に欠けるモデルを使用することで妥協せざるを得なくなります。また、同じデバイスでの複数のモデルを使用した予測 (たとえば、異なるタイプの異常の検出など) には、ハードウェアリソースを節約するために、オンデマンドでモデルをロードおよびアンロードする追加のコードが必要になる場合があります。そして、現実世界は常に、どのトレーニングセットの予想よりも複雑で不規則なものであるため、予測品質の監視は大きな懸念となります。

お客様から助けを求められた AWS は、これらの課題の解決に乗り出しました。

Amazon SageMaker Edge Manager のご紹介
Amazon SageMaker Edge Manager は、ML エッジデベロッパーが、クラウドまたはエッジで使い慣れたツールを簡単に使用できるようにします。このため、モデルを本番稼働させるために必要な時間と労力を削減しながら、デバイスフリート全体のモデル品質を継続的に監視し、向上させることが可能になります。

ユーザーが Amazon SageMaker でトレーニング、またはインポートしたモデルを元に、SageMaker Edge Manager はまず Amazon SageMaker Neo を使用してハードウェアプラットフォーム向けにモデルを最適化します。2 年前にローンチされた Neo は、低フットプリントのランタイムによってデバイス上で実行される効率的な共通のフォーマットにモデルを変換します。Neo は現在、Ambarella、ARM、Intel、NVIDIA、NXP、Qualcomm、TI、および Xilinx によって製造されたチップを基盤とするデバイスをサポートしています。

次に、SageMaker Edge Manager はモデルをパッケージ化し、それを Amazon Simple Storage Service (S3) に保存します。モデルはここからデバイスにデプロイできます。実際に、複数のモデルをデプロイして、ユーザーが選択するハードウェア向けに最適化されたランタイムでロードし、予測することが可能です。

オンデバイスモデルは、モデルのデプロイメントについて AWS クラウドと通信し、モデルの管理についてアプリケーションと通信する SageMaker Edge Manager の Manager Agent によって管理されます。このエージェントはアプリケーションに統合できるので、予測リクエストに応じてモデルを自動でロードおよびアンロードすることが可能です。これにより、必要に応じて大型モデルのためにすべてのリソースを解放する、またはメモリに共存する小型モデルのコレクションで作業するなど、さまざまなシナリオを実現できるようになります。

世界的なトップ PC メーカーである Lenovo は、最近、最新の AI 駆動の SaaS 製品に SageMaker を組み込みました。PC およびスマートデバイスのクラウドとソフトウェアを担当する Lenovo 副社長である Igor Bergman 氏は、このように話しています。「Lenovo では、私たちは単なるハードウェアプロバイダーではなく、お客様のデバイスエクスペリエンスを一変させ、ビジネス目標を達成する上での信頼のおけるパートナーとなることに全力を注いでいます。Lenovo Device Intelligence は、Amazon SageMaker によって強化された機械学習の力を用いて私たちがこれを実現する方法のすばらしい例です。Lenovo Device Intelligence では、IT 管理者が PC 問題を事前に突き止め、システム障害が発生する前にその可能性を予測することができるので、ダウンタイムの低減と、従業員の生産性向上に役立っています。当社では、Amazon SageMaker Neo の導入によって、オンデバイス予測モデルの実行における大幅な改善がすでに実現されており、今後数週間のうちに追加される新しい Amazon SageMaker Edge Manager にも期待できると考えています。SageMaker Edge Manager は、デプロイメント後にモデルを最適化し、監視して、継続的に改善していくために必要な人手による労力を排除するために役立つでしょう。私たちは、これを使用することによって、他の同等の機械学習プラットフォームよりもモデルが迅速に実行され、メモリの消費量が低減されることを期待しています。Lenovo サービスポートフォリオ全体の新しいアプリケーションに AI を拡大するにあたって、今後も引き続き、クラウドと何百万ものエッジデバイスの両方に柔軟でスケーラブルな高機能パイプラインが必要になります。Amazon SageMaker プラットフォームを選択したのはこのためです。豊富なエッジツークラウドおよび CI/CD ワークフロー機能を用いることで、より優れた生産性のために、あらゆるデバイスワークフローに機械学習モデルを効果的に導入することができます。」

使用の開始
このように、SageMaker Edge Manager は、エッジデバイスにデプロイされた ML モデルでの作業を容易にします。この機能は、本日より米国東部 (バージニア北部)、米国西部 (オレゴン)、米国東部 (オハイオ)、欧州 (アイルランド)、欧州 (フランクフルト)、およびアジアパシフィック (東京) の各リージョンでご利用いただけます。

今すぐ使用を開始するためのサンプルノートブックをご用意しましたので、ぜひお試しいただき、感想をお聞かせください。

AWS では、お客様からのフィードバックをお待ちしております。フィードバックは、通常の AWS サポート担当者、または SageMaker の AWS フォーラム経由でお送りください。

– Julien