投稿日: Dec 8, 2020
Amazon SageMaker Model Monitor は、機械学習モデルのコンセプトドリフト (時間の経過に伴うデータ分布と特性の変化) を継続的に監視し、逸脱がある場合は警告を発して、是正措置を講じることができます。本日より、Amazon SageMaker Model Monitor を使用して、モデルの品質、バイアス、機能における重要性のドリフトを検出することもできます。これらの新しいフルマネージド機能により、SageMaker Model Monitor は、本番環境で高品質の機械学習モデルを維持する際に役に立ちます。
Amazon SageMaker Model Monitor は現在、モデルのトレーニングに使用されたデータとモデルに提示されているデータの違いを追跡してスコアを付け、データの監査やモデルの再トレーニングなどのタイムリーなアクションを実行できるように逸脱を警告することで、データ品質のドリフトの検出をサポートしています。本日、SageMaker Model Monitor に 3 つの新機能を追加し、モデルの品質、モデルのバイアス、機能における重要性のドリフトを検出できるようになりました。
モデル品質の監視を使用すれば、ML モデルのモデル特性 (精度、正確度、再現率など) をリアルタイムで監視できます。SageMaker Model Monitor は、モデル予測を Ground Truth データと比較することにより、ML モデルが結果をどれだけうまく予測しているかを報告します。モデルが監視されている間、Amazon S3、Amazon SageMaker Studio、および SageMaker Notebook インスタンスでモデルの品質を詳細に示すエクスポート可能なレポートとグラフを表示できます。モデル品質のドリフトが観察された場合に通知を受信するように Amazon CloudWatch を設定することもできます。
バイアス監視は、ML モデルのバイアスを定期的に検出する際に役に立ちます。SageMaker Model Monitor は、バイアスメトリックが事前設定されたしきい値を統計的に超えるレベルにドリフトする時期を定期的に判断します。Model Monitor のバイアス監視機能を使用すれば、SageMaker Studio でメトリックを表示し、結果を視覚化できます。モデルが設定したバイアスメトリックのしきい値を超えたときにすぐにわかるように、自動アラートを構成することもできます。
モデルが本番環境にデプロイされた後、モデルの特定機能の重要性や影響は、時間の経過とともに変化する可能性があります。モデルの説明可能性の監視では、ML モデルによって行われた予測が、モデルをトレーニングしたときと同じ機能に基づいており、トレーニングが同じ割合で行われているかどうかを理解および解釈することができます。説明の追跡を有効にすると、SageMaker Model Monitor は機能の相対的な重要性におけるドリフトを自動的に検出し、SageMaker Studio でこれらの変更を視覚化することができます。また、他のすべての SageMaker Model Monitor 機能と同様に、Amazon CloudWatch を使用して設定し、ドリフトが検出されたときに積極的にアラートを発することができます。
Amazon SageMaker Model Monitor は、新規または既存のリアルタイム推論エンドポイントに対して有効にできます。有効にすると、SageMaker Model Monitor は予測リクエストとレスポンスを Amazon S3 に保存し、モデルの予測を指定した実績または Ground Truth と比較して、組み込みルールやカスタムルールを実行してベースラインに対するドリフトを検出して、偏差がある場合にアラートを発します。その結果、追加のツールを構築することなく、組織全体で標準化された方法で、データ品質、モデル品質、モデルバイアス、および機能における重要性のドリフトについて数百のモデルを監視できます。監視ジョブは、定期的な間隔 (たとえば、1 時間ごとまたは 1 日ごと) で実行するようにスケジュールでき、レポートとメトリックスを Amazon CloudWatch と Amazon S3 にプッシュできます。 監視結果は、Amazon SageMaker Studio で目視検査することもできます。また、Amazon SageMaker Notebook インスタンスを使用して結果をさらに分析することもできます。
Amazon SageMaker Model Monitor は、Amazon SageMaker が提供されているすべての商用リージョンでご利用いただけます。また、デフォルトの ml.m5.xlarge インスタンスで組み込みの監視ルールを使用すると、毎月最大 30 時間の監視結果がすべてのエンドポイントに無料で集約されます。詳細とサンプルノートについては、ドキュメントをお読みください。