投稿日: Dec 1, 2021
エンドツーエンドの機械学習 (ML) ワークフローの作成、自動化、管理を可能にするフルマネージドサービスである Amazon SageMaker Pipelines は Amazon SageMaker Model Monitor とAmazon SageMaker Clarify の統合をサポートするようになりました。これらの統合により、ML ワークフローにモデルの品質やバイアスの検出を簡単に組み込むことができます。オートメーションの向上は ML モデルの構築や管理におけるオペレーション負荷を軽減に役立ちます。
SageMaker Model Monitor と SageMaker Clarify により、本番の MLモデルの品質やバイアスのメトリクスを継続的に監視するため、モデルまたはデータの品質が低下した場合にアラートを設定したり、再トレーニングをトリガーしたりすることができます。モデルのモニタリングを設定するには、SageMaker Model Monitor がドリフトを測定するために使用するデータおよびモデル品質のベースラインメトリクスを確立する必要があります。新しい統合により、モデル構築のパイプラインの一部として、モデルおよびデータの品質のベースラインを自動的に把握することができるため、モデル構築のワークフロー以外でこれらのメトリクスを計算する必要がなくなります。また、SageMaker Pipelines の QualityCheckStep およびClarifyCheckStep を使って、以前から知られているベースラインメトリクスからの逸脱が検出された場合、モデルのトレーニングパイプラインを停止することができます。コンピューティングされると、計算された品質やバイアスのメトリクスをベースラインと一緒に Model Registry に保存し、表示させることもできます。
また、この統合は SageMaker プロジェクトのテンプレートとして利用して、Model Registry に記録されているベースラインメトリクスを活用して、モデルモニタリングやバイアス検出ジョブを自動的にスケジュールすることができます。スタートするために、SageMaker Studio またはコマンドラインインターフェースから、新しいモデルモニタリングテンプレートを使用して、新しい SageMaker Project を作成します。詳細については、Sagemaker Pipelines のチェックステップ、Model Registry のメトリクス/ベースライン、Sagemaker Model Monitor、モデルモニタリングの CI/CD テンプレートに関するドキュメントページをご覧ください。