Amazon SageMaker Model Monitor
長期にわたって機械学習モデルを正確に保つ
モデルやデータのドリフトを自動的に検出し、不正確な予測に関するアラートを受け取ることで、是正措置を講じることができる
Amazon SageMaker Clarify と統合され、本番環境にデプロイされた後の機械学習モデルの潜在的なバイアスを特定するのに役立つ
データの収集と監視
Amazon SageMaker Model Monitor を使用すれば、コードを記述しなくても、監視や分析を行うデータを選択できます。SageMaker Model Monitor を使用すると、予測出力などのオプションメニューからデータを選択し、タイムスタンプ、モデル名、エンドポイントなどのメタデータをキャプチャして、メタデータに基づいてモデルの予測を分析できます。大量のリアルタイム予測の場合、データキャプチャのサンプリングレートをトラフィック全体のパーセンテージとして指定でき、データは独自の Amazon S3 バケットに保存されます。また、このデータの暗号化、詳細なセキュリティの構成、データ保持ポリシーの定義を行い、安全なアクセスのためのアクセスコントロールメカニズムを実装することもできます。
組み込みの分析機能
Amazon SageMaker Model Monitor は、データとモデルの品質における変動を検出するために、統計ルールの形式で組み込みの分析を提供します。カスタムルールを作成し、各ルールのしきい値を指定することもできます。次に、ルールを使用してモデルのパフォーマンスを分析できます。SageMaker Model Monitor は、収集されたデータに対してルールを実行し、異常を検出し、ルール違反を記録します。
可視化
Amazon SageMaker Model Monitor によって発行されたすべてのメトリックは Amazon SageMaker Studio で収集および表示できるため、追加のコードを記述せずにモデルのパフォーマンスを視覚的に分析できます。メトリックを視覚化できるだけでなく、SageMaker ノートブックインスタンスでアドホック分析を実行して、モデルをよりよく理解することもできます。
進行中のモデル予測
Amazon SageMaker Model Monitor を使用すると、モデルのパフォーマンスを計算するために ML アプリケーションからデータを取り込むことができます。データは Amazon S3 に保存され、アクセスコントロール、暗号化、およびデータ保持ポリシーによって保護されます。
監視スケジュール
Amazon SageMaker Model Monitor を介して監視ジョブをスケジュールすることで、ML モデルを監視できます。監視ジョブを自動的に開始して、特定の期間中のモデル予測を分析できます。SageMaker エンドポイントで複数のスケジュールを設定することもできます。
Amazon SageMaker Clarify との統合
Amazon SageMaker Model Monitor は Amazon SageMaker Clarify と統合されており、潜在的なバイアスの可視性を向上させます。初期のデータまたはモデルにはバイアスがかかっていない可能性がありますが、環境の変化や時間の経過により、既にトレーニングされているモデルにバイアスが生じる可能性があります。例えば、住宅購入者の人口統計における大幅な変化は、特定の人口が存在しないか、元のトレーニングデータに存在しない場合、住宅ローン申請モデルにバイアスを生じさせる可能性があります。SageMaker Clarify との統合により、モデルに偏りが生じ始めた場合に通知を送信するように Amazon CloudWatch などのアラートシステムを設定できます。
レポートとアラート
監視ジョブによって生成されたレポートは、さらなる分析のために Amazon S3 に保存できます。Amazon SageMaker Model Monitor は Amazon CloudWatch にメトリックを公開し、通知を使用してアラームをトリガーしたり、モデルの再トレーニングやデータの監査などの修正アクションを実行したりできます。メトリックには、違反したルールやタイムスタンプ情報などの情報が含まれます。SageMaker Model Monitor は、Tensorboard、Amazon QuickSight、Tableau などの他の可視化ツールとも統合されています。
ユースケース
外れ値または異常
Amazon SageMaker Model Monitor を使用して、予測が予想範囲外であるか、最小値や最大値などの予想値の端側にあたるかを検出します。たとえば、温度が 65 °F〜75 °F の間にあると予想されるため、範囲外の結果は 50 °F になります。この範囲外の結果は、異常として警告されます。
データの変動
Amazon SageMaker Model Monitor を使用して、経年劣化によるセンサーの不正確な読み取りなど、実際の状況が原因で予測に歪みが生じる時期を検出します。Amazon SageMaker Model Monitor は、実際のデータをトレーニングデータセットや評価データセットなどのベースラインデータセットと比較することにより、データの偏りを検出します。
実世界の観察
多くの場合、新しいデータが現実の世界に導入されるため、新しい機能を考慮に入れてモデルを調整できるようにする必要があります。たとえば、自律走行モデルを更新して、自律走行車両が道路上の新しいオブジェクトを検出できるようにする必要があります。Amazon SageMaker Model Monitor は新しい観測を検出するため、モデルを最新の状態に保つことができます。