Amazon SageMaker Model Monitor

長期にわたって機械学習モデルを正確に保つ

Amazon SageMaker Model Monitor は、本番環境にデプロイされたモデルからの不正確な予測を自動的に検出してアラートを発することにより、高品質の機械学習 (ML) モデルを維持する際に役に立ちます。

ML モデルの精度は、時間の経過とともに低下する可能性があります。これは、モデル変動と呼ばれる現象です。モデルの機能が変更されるなど、多くの要因によってモデル変動が引き起こされる可能性があります。ML モデルの精度は、概念の変動、モデルのトレーニングに使用されるデータと、推論中に使用されるデータの違いによって影響を受ける可能性があります。

Amazon SageMaker Model Monitor は、モデルとコンセプトの変動をリアルタイムで検出し、アラートを送信してすぐにアクションを実行できるようにすることで、高品質の ML モデルを維持することができます。モデルと概念の変動は、独立変数と従属変数に基づいてモデルの品質を監視することによって検出されます。独立変数 (機能) は ML モデルへの入力であり、従属変数はモデルの出力です。たとえば、銀行ローンの承認を予測する ML モデルで、独立変数は申請者の年齢、収入、信用履歴であり、従属変数は実際のローン申請の結果になります。さらに、SageMaker Model Monitor は、予測の総数と比較して正しい予測の数を測定する精度など、モデルのパフォーマンス特性を常に監視しているため、異常に対処するためのアクションを実行できます。

さらに、SageMaker Model Monitor は Amazon SageMaker Clarify と統合されており、モデルバイアス検出を使用して ML モデルの潜在的なバイアスを特定する場合に役に立ちます。

データの収集と監視

Amazon SageMaker Model Monitor を使用すれば、コードを記述しなくても、監視や分析を行うデータを選択できます。SageMaker Model Monitor を使用すると、予測出力などのオプションメニューからデータを選択し、タイムスタンプ、モデル名、エンドポイントなどのメタデータをキャプチャして、メタデータに基づいてモデルの予測を分析できます。大量のリアルタイム予測の場合、データキャプチャのサンプリングレートをトラフィック全体のパーセンテージとして指定でき、データは独自の Amazon S3 バケットに保存されます。また、このデータの暗号化、詳細なセキュリティの構成、データ保持ポリシーの定義を行い、安全なアクセスのためのアクセスコントロールメカニズムを実装することもできます。

組み込みの分析機能

Amazon SageMaker Model Monitor は、データとモデルの品質における変動を検出するために、統計ルールの形式で組み込みの分析を提供します。カスタムルールを作成し、各ルールのしきい値を指定することもできます。次に、ルールを使用してモデルのパフォーマンスを分析できます。SageMaker Model Monitor は、収集されたデータに対してルールを実行し、異常を検出し、ルール違反を記録します。

可視化

Amazon SageMaker Model Monitor によって発行されたすべてのメトリックは Amazon SageMaker Studio で収集および表示できるため、追加のコードを記述せずにモデルのパフォーマンスを視覚的に分析できます。メトリックを視覚化できるだけでなく、SageMaker ノートブックインスタンスでアドホック分析を実行して、モデルをよりよく理解することもできます。

進行中のモデル予測

Amazon SageMaker Model Monitor を使用すると、モデルのパフォーマンスを計算するために ML アプリケーションからデータを取り込むことができます。データは Amazon S3 に保存され、アクセスコントロール、暗号化、およびデータ保持ポリシーによって保護されます。

監視スケジュール

Amazon SageMaker Model Monitor を介して監視ジョブをスケジュールすることで、ML モデルを監視できます。監視ジョブを自動的に開始して、特定の期間中のモデル予測を分析できます。SageMaker エンドポイントで複数のスケジュールを設定することもできます。

Amazon SageMaker Clarify との統合

Amazon SageMaker Model Monitor は Amazon SageMaker Clarify と統合されており、潜在的なバイアスの可視性を向上させます。初期のデータまたはモデルにはバイアスがかかっていない可能性がありますが、環境の変化や時間の経過により、既にトレーニングされているモデルにバイアスが生じる可能性があります。例えば、住宅購入者の人口統計における大幅な変化は、特定の人口が存在しないか、元のトレーニングデータに存在しない場合、住宅ローン申請モデルにバイアスを生じさせる可能性があります。SageMaker Clarify との統合により、モデルに偏りが生じ始めた場合に通知を送信するように Amazon CloudWatch などのアラートシステムを設定できます。

レポートとアラート

監視ジョブによって生成されたレポートは、さらなる分析のために Amazon S3 に保存できます。Amazon SageMaker Model Monitor は Amazon CloudWatch にメトリックを公開し、通知を使用してアラームをトリガーしたり、モデルの再トレーニングやデータの監査などの修正アクションを実行したりできます。メトリックには、違反したルールやタイムスタンプ情報などの情報が含まれます。SageMaker Model Monitor は、Tensorboard、Amazon QuickSight、Tableau などの他の可視化ツールとも統合されています。

ユースケース

外れ値または異常

Amazon SageMaker Model Monitor を使用して、予測が予想範囲外であるか、最小値や最大値などの予想値の端側にあたるかを検出します。たとえば、温度が 65 °F〜75 °F の間にあると予想されるため、範囲外の結果は 50 °F になります。この範囲外の結果は、異常として警告されます。

データの変動

Amazon SageMaker Model Monitor を使用して、経年劣化によるセンサーの不正確な読み取りなど、実際の状況が原因で予測に歪みが生じる時期を検出します。Amazon SageMaker Model Monitor は、実際のデータをトレーニングデータセットや評価データセットなどのベースラインデータセットと比較することにより、データの偏りを検出します。

実世界の観察

多くの場合、新しいデータが現実の世界に導入されるため、新しい機能を考慮に入れてモデルを調整できるようにする必要があります。たとえば、自律走行モデルを更新して、自律走行車両が道路上の新しいオブジェクトを検出できるようにする必要があります。Amazon SageMaker Model Monitor は新しい観測を検出するため、モデルを最新の状態に保つことができます。

Amazon SageMaker Model Monitor の使用を今すぐ開始する