Amazon Web Services ブログ
「Amazon SageMaker Model Monitorを理解しよう」を解説する動画を公開しました!【ML Enablement Series Dark#7】
「今日も 1 日、ML モニタリング !」
ということで、今週も機械学習の価値を最大化するための解説動画、ML Enablement Series (※)の、
Amazon SageMaker モニタリング Part 1 、 Amazon SageMaker Model Monitor を理解しよう【ML-Dark-07】【AWS Black Belt】
を公開しました。
※ ML Enablement Series とは、機械学習プロダクトにかかわる全ての人向けの機械学習の知識をお届けする Light パートと、機械学習のマネージドサービスを活用して MLOps を推進したいエンジニア向けの Dark パート から構成されており、週1回を目安に Light と Dark を交互に配信中
今回からは、MLOps エンジニア、ML オペレータ向けに、モデルをモニタリングする必要性、モニタリングの対象項目、種別と Amazon SageMaker Model Monitor を利用する時の作業内容について、 3 回シリーズで解説します。パート 1 では 、Dark パート の第 7 回目として、 Amazon SageMaker Model Monitor の概要と基本機能を解説します。パート 2 はデータ品質、モデル品質、パート 3 はモデルバイアスやモデルの説明性について解説する予定です。
今回は、ML のモニタリングがなぜ必要か、 Amazon SageMaker Model Monitor の概要、使い方を解説します。
デプロイしたモデルの精度が劣化した場合、どう対応しますか。定期的にモデルを再学習すれば良いでしょうか。その期間をどう決めますか。実例を出しながら、モデルをモニタリングする必要性、モニタリングの対象とそれらの質問を回答します。
モデルをモニタリングする必要性を理解した上で、 Amazon SageMaker Model Monitor の概要、基本機能とアーキテクチャを解説します。
さらに、Amazon SageMaker Model Monitor を利用するとき、必要な作業内容、モニタリングの対象項目、モニタリングの種別を解説しました。
今回のパートで紹介した内容により、Amazon SageMaker Model Monitor を利用して、すぐにモデルモニタリングを開始できます。MLOps エンジニア、ML オペレータの方や、モデル、データ品質のフィードバックを対応している方はぜひご覧ください。パート 2 、 3 は、モデル品質、モデルバイアス、 Feature Attribution 、データ品質の 4 つのモニタリング種別について解説する予定です。お楽しみに!
今回の 動画 は AWS BlackBelt オンライン ML Enablement シリーズのYouTubeの再生リスト( Light パート / Dark パート) に追加しています。こちらもご利用ください。
AWS Black Belt Online Seminar 全体の資料はこちらにあります
プレゼンテーション作成およびスピーカーは島野が、本記事は楊が担当しています。
これまでの「ML Enablement Series」
- [ML-Light-01] 機械学習モデル開発プロジェクトの進め方
- [ML-Light-02] 機械学習モデルの開発環境を構築する
- [ML-Light-03] 機械学習の価値を計算する
- [ML-Light-04] データから価値を創出できるか診断する
- [ML-Light-05] 価値あるデータを取得する
- [ML-Light-06] 機械学習モデルが認識しやすいデータに変換する
- [ML-Dark-01] Amazon SageMaker Training で機械学習のモデル開発を楽にする
- [ML-Dark-01b] Amazon SageMaker Training ハンズオン編
- [ML-Dark-02] Amazon SageMaker による実験管理
- [ML-Dark-03] Amazon SageMaker 推論 Part1 推論の頻出課題とSageMakerによる解決方法
- [ML-Dark-04] Amazon SageMaker 推論 Part2すぐにプロダクション利用できる!モデルをデプロイして推論する方法
- [ML-Dark-05a] Amazon SageMaker 推論 Part3(前編)もう悩まない!機械学習モデルのデプロイパターンと戦略
- [ML-Dark-05b] Amazon SageMaker 推論 Part3(後編)もう悩まない!機械学習モデルのデプロイパターンと戦略
- [ML-Dark-07] Amazon SageMaker モニタリング Part1