投稿日: Oct 28, 2022
SageMaker のバッチ変換ジョブで取得した機械学習予測の品質を、Amazon SageMaker Model Monitor を使用してモニタリングできるようになりました。 Amazon SageMaker Model Monitor は、本番環境でモデルを監視し、逸脱を検出し、モデルの監査や再トレーニングなどのタイムリーなアクションを実行するフルマネージド型のエクスペリエンスを提供します。
Amazon SageMaker バッチ変換では、Amazon S3 に保存されているデータセットに対して予測を実行できます。これは、大規模なデータセットを使用していて、永続的な推論エンドポイントを必要としないシナリオに最適です。モデルが本番環境にデプロイされた後、実世界のデータは、時間の経過とともにモデルのトレーニングに使用されたデータから逸脱する可能性があり、最終的にモデル精度の低下につながるかもしれません。たとえば、金利などのマクロ経済状況の変化は、住宅価格の予測に使用されるモデルの品質に影響を与える可能性があります。Model Monitor は、データ品質、モデル品質、バイアス、特徴量アトリビューションにおけるドリフトを検出し、そのような変化が発生した場合に修正アクションを取るよう警告します。
Amazon SageMaker Model Monitor を使用すると、本番環境でバッチ変換データを収集して分析し、トレーニングまたは検証データと比較して逸脱を検出できます。SageMaker Model Monitor の組み込みルールを使用して、構造化データセットのドリフトをすぐに検出したり、組み込みルールを実行する前にデータ変換を追加したり、独自のカスタムルールを記述したりできます。Model Monitor をさまざまなインスタンスタイプで使用し、定期的な周期 (たとえば、毎時間/毎日) またはオンデマンドで実行するようにスケジュールできます。また、概要メトリクスを Amazon CloudWatch にプッシュ通知したり、修正アクションのアラートとトリガーを設定したりもできます。