投稿日: Dec 3, 2019
Amazon SageMaker Model Monitor は、Amazon SageMaker の新しい機能で、本番環境で機械学習 (ML) モデルを継続的にモニタリングし、時間の経過とともにモデルのパフォーマンスを低下させる可能性のあるデータドリフトなどの逸脱を検出し、是正措置を取るように警告します。
機械学習 (ML) モデルでは、モデルのトレーニング中に使用されたデータからパターンを学習することで予測を行います。モデルが本番環境にデプロイされた後、時間が経過するにつれて、実世界のデータはモデルのトレーニングに使用されたデータと乖離し始め、モデル品質の偏差につながり、最終的にはモデルの精度が低下します。たとえば、経済条件の変化は、新しい金利を動かす可能性があり、自宅購入予測に影響が及びます。Amazon SageMaker Model Monitor は、本番環境でモデルを監視し、逸脱を検出し、モデルの監査や再トレーニングなどのタイムリーなアクションを実行するフルマネージドエクスペリエンスを提供します。
Amazon SageMaker Model Monitor により、エンドポイントから予測リクエストと応答を簡単に収集し、本番環境で収集されたデータを分析し、トレーニングまたは検証データと比較して偏差を検出できます。SageMaker Model Monitor の組み込みルールを使用して、構造化データセットのドリフトをすぐに検出したり、組み込みルールを実行する前にデータ変換を追加したり、独自のカスタムルールを記述したりできます。モニタリングジョブを定期的なリズム (たとえば、毎時または毎日) で実行するようにスケジュールし、サマリーメトリクスを Amazon CloudWatch にプッシュできます。これにより、修正アクションのアラートとトリガーを設定し、Amazon SageMaker でサポートされる幅広いインスタンスタイプをサポートできます。
Amazon SageMaker でモデルをデプロイし、組み込みルールと ml.m5.xlarge インスタンスで Model Monitor を有効にすると、毎月すべてのエンドポイントで最大 30 時間のモニタリングが無料で行えます。