Amazon SageMaker Clarify とは何ですか?
Amazon SageMaker Clarify は、精度、堅牢性、毒性、偏りなどのメトリックスに基づいて ML モデルとデータについてより深い洞察を得るための専用ツールを提供します。これにより、モデルの品質が向上し、責任ある AI イニシアチブがサポートされます。生成系 AI の台頭により、データサイエンティストや ML エンジニアは、公開されている基盤モデル (FM) を活用して市場投入までの時間を短縮できます。Amazon SageMaker Clarify では、ユースケースに適した FM を評価して選択する手間を省くために、FM 評価をサポートしています。これにより、さまざまなタスクにわたるさまざまな基準に基づいて、ユースケースに最適な FM を数分以内に迅速に評価、比較、選択できます。これにより、FM をより迅速に、自信を持って導入できます。表形式、コンピュータービジョン、時系列モデルの場合、SageMaker Clarify はモデル開発中またはモデルデプロイ後にモデルを説明しやすくします。バイアスレポートと説明可能性レポートを使用して潜在的な問題を特定し、精度の向上、バイアスの除去、パフォーマンスの向上に向けた取り組みを指示できます。
SageMaker Clarify のメリット
基盤モデルを評価する (プレビュー)
評価ウィザードとレポート
カスタマイズ
人間ベースの評価
モデル品質評価
モデル責任評価
FMが人種/肌の色、性別/性同一性、性的指向、宗教、年齢、国籍、障害、外見、社会経済的地位のカテゴリーに沿ってステレオタイプをエンコードしたリスクを、自動評価または人間ベースの評価を使用して評価します。有毒物質のリスクを評価することもできます。これらの評価は、自由形式の生成、要約、質疑応答など、コンテンツの生成を伴うあらゆるタスクに適用できます。
モデル予測
モデル予測を説明する
動作の変化についてモデルをモニタリングする
バイアスを検出
データの不均衡を特定する
SageMaker Clarify を使用すると、コードを書かなくてもデータ準備中に潜在的な偏見を特定できます。性別や年齢などの入力特徴量を指定すると、SageMaker Clarify で分析ジョブが実行され、これらの特徴量の潜在的バイアスが検出されます。潜在的バイアスのメトリクスと測定結果の説明を含む視覚的なレポートが SageMaker Clarify から出力されるので、バイアスを修正する手順を特定できます。バランスが悪い場合は、SageMaker Data Wrangler を使用してデータのバランスを取ることができます。SageMaker Data Wrangler には、バランスさせる操作が 3 つあります。ランダムアンダーサンプリング、ランダムオーバーサンプリング、および SMOTE の 3 つのバランシング演算子を提供し、不均衡なデータセットのデータをバランス化します。
トレーニングされたモデルのバイアスを確認する
モデルのトレーニングをした後、 Amazon SageMaker Experiments で SageMaker Clarify バイアス分析を実行して、あるグループに対して他のグループよりも否定的な結果を出すことが多いといった潜在的なバイアスがモデルにあるかどうかを確認できます。モデル結果の偏りを測定したい入力特徴を指定すると、SageMaker が分析を実行して、各特徴のさまざまなタイプの偏りを識別する視覚的なレポートを提供します。AWS のオープンソースメソッドである Fair Bayesian Optimization は、モデルのハイパーパラメータを調整することによってバイアスを軽減するのに役立ちます。
デプロイしたモデルに偏りがないかを監視する
デプロイされているときにモデルが参照する実データとトレーニングデータが異なる場合に、デプロイされた ML モデルにバイアスが発生したり悪化したりすることがあります。例えば、モデルのトレーニング時の住宅ローン金利と現在の金利が異なると、住宅価格を予測するモデルの出力にバイアスが発生することがあります。SageMaker Clarify のバイアス検出機能は Amazon SageMaker Model Monitor と統合します。これにより、SageMaker が一定のしきい値を超えるバイアスを検出した場合、Amazon SageMaker Studio および Amazon CloudWatch メトリクスとアラームを通じて表示できるメトリクスを自動的に生成します。