機械学習 (ML) の実践者がより迅速に SageMaker を使用開始できるようにする、カスタマイズされたロールを生成します。
モデルドキュメンテーションを簡素化し、構想からデプロイまでの主要な仮定、特性、アーティファクトを可視化します。
統合されたビューを使用して、すべてのモデル、エンドポイント、およびモデルモニタリングジョブのパフォーマンスを迅速に監査およびトラブルシューティングします。
自動化されたアラートを使用して、予期されるモデルの動作からの逸脱、およびモニタリングジョブの欠落や非アクティブを追跡します。
Amazon SageMaker は、責任を持って機械学習を実装するのに役立つ専用のガバナンスツールを提供します。Amazon SageMaker Role Manager を使用すると、管理者は最小限の権限を数分で定義できます。Amazon SageMaker Model Cards により、構想からデプロイまで、使用目的、リスク評価、トレーニングの詳細など、重要なモデル情報を簡単にキャプチャ、取得、共有できます。Amazon SageMaker モデルダッシュボードは、本番環境でのモデルの動作に関する情報をすべて一元的に提供します。
SageMaker を使用して機械学習モデルの可視性を向上させる方法について、この動画をご覧ください。
仕組み
Amazon SageMaker による機械学習ガバナンスでは、SageMaker Role Manager、SageMaker Model Cards、および SageMaker Model Dashboard を使用して、アクセス制御を簡素化し、機械学習プロジェクトの透明性を高めます。

主な特徴
SageMaker Role Manager を使用して、最小限の権限を数分で定義
機械学習アクティビティの権限の簡素化
SageMaker Role Manager は、事前に構築された AWS Identity および Access Management (IAM) ポリシーのカタログを通じて、機械学習アクティビティとペルソナのための権限のベースラインセットを提供します。機械学習アクティビティにはデータの準備とトレーニングを含めることができ、ペルソナには機械学習エンジニアとデータサイエンティストを含めることができます。基本的な権限を維持することも、特定のニーズに基づいてさらにカスタマイズすることもできます。
IAM ポリシー生成の自動化
ネットワークアクセスの境界や暗号化キーなど、一般的なガバナンスの構成は、いくつかのセルフガイドプロンプトですぐに入力できます。SageMaker Role Manager は、IAM ポリシーを自動的に生成します。生成されたロールと関連するポリシーは、AWS IAM コンソールで確認できます。
マネージドポリシーのアタッチ
ユースケースに合わせて権限をさらに調整するには、マネージド IAM ポリシーを、SageMaker Role Manager で作成した IAM ロールにアタッチします。タグを追加して、AWS サービス間でロールを識別および整理することもできます。
SageMaker Model Card を使用してモデルドキュメンテーションを合理化する
モデル情報の取得
SageMaker Model Cards は、Amazon SageMaker コンソールのモデル情報のリポジトリであり、責任を持って機械学習を実装できるようにモデルドキュメンテーションを一元化および標準化するのに役立ちます。入力データセット、トレーニング環境、トレーニング結果などのトレーニングの詳細を自動入力して、ドキュメンテーションプロセスを高速化できます。モデルの目的やパフォーマンスの目標などの詳細を追加することもできます。
評価結果の可視化
バイアスや品質指標などのモデル評価結果をモデルカードに添付し、グラフなどの視覚化を追加して、モデルのパフォーマンスに関する重要なインサイトを得ることができます。
モデルカードの共有
モデルカードを PDF 形式にエクスポートして、ビジネス関係者、社内チームや顧客と簡単に共有できます。
SageMaker Model Dashboard で統合モデルモニタリングを実施
モデルの動作の追跡
SageMaker Model Dashboard は、デプロイされたモデルとエンドポイントの包括的な概要を提供し、リソースとモデルの動作違反を 1 か所で追跡することができます。モデルの動作は、データ品質、モデル品質、バイアスドリフト、フィーチャーアトリビューションドリフトの 4 つの次元で監視できます。SageMaker Model Dashboard は、Amazon SageMaker Model Monitor および Amazon SageMaker Clarify との統合を通じて動作を監視します。
アラートの自動化
SageMaker Model Dashboard は、モデルモニタリングジョブの欠落や非アクティブとモデル動作の逸脱に対するアラートを設定および受信するための統合エクスペリエンスを提供します。
モデル偏差のトラブルシューティング
さらに、個々のモデルを検査し、モデルのパフォーマンスに影響を与える要因を時系列で分析することができます。そして、機械学習実践者のフォローアップを行い、是正措置を講じることができます。
お客様

「United Airlines では、機械学習 (ML) を使用して一人ひとりに合わせたオファーを提供することでカスタマーエクスペリエンスを向上させ、お客様が Travel Readiness Center を使用できるようにしています。機械学習は、空港運営、ネットワーク計画、フライトスケジューリングにも応用されています。パンデミックの終わりが見え始めたとき、Amazon SageMaker は Travel Readiness Center で重要な役割を果たし、ドキュメントベースのモデル自動化を使用して大量の COVID 検査証明書、ワクチンカードを処理できるようにしました。Amazon SageMaker の新しいガバナンス機能により、機械学習モデルの制御と可視性が向上しました。SageMaker Role Manager は、IAM ロールにリンクされた各ペルソナに基本的な権限と機械学習アクティビティを提供することで、ユーザー設定プロセスを大幅に簡素化します。SageMaker Model Cards を使用すると、チームはレビューのためにモデル情報をプロアクティブに取得して共有できます。また、SageMaker Model Dashboard を使用して、社内機械学習プラットフォームである MARS にデプロイされたモデルを検索および表示できます。このような新しいガバナンス機能により、時間を大幅に節約し、スケールアップすることができました」
United Airlines の機械学習エンジニアリングおよびオペレーション担当ディレクター、Ashok Srinivas 氏

「Capitec では、製品ライン全体にさまざまなデータサイエンティストがいて、さまざまな機械学習ソリューションを構築しています。当社の機械学習エンジニアは、Amazon SageMaker 上に構築された一元的なモデリングプラットフォームを管理して、これらすべての機械学習ソリューションの開発とデプロイを推進しています。組み込みツールがなしにモデリングの取り組みを追跡すると、ドキュメントがばらばらになり、モデルの可視性が失われる傾向があります。SageMaker Model Cards を使用すると、統合された環境で多数のモデルメタデータを追跡でき、SageMaker Model Dashboard により、各モデルのパフォーマンスを可視化できます。さらに、SageMaker Role Manager は、さまざまな製品ラインでデータサイエンティストのアクセスを管理するプロセスを簡素化します。これら一つ一つが、当社のモデルガバナンスが金融サービスプロバイダーとしてのクライアントの信頼を確実に得るのに十分なものとなることに寄与しています」
Capitec Bank の機械学習エンジニア、Dean Matter 氏
リソース
AWS re:Invent 2022の「Improve ML governance w/deep control & transparency in SageMaker」セッションをご紹介します。