Amazon SageMaker Clarify

Crows-Pairs、TriviaQA、WikiTextなどの厳選されたデータセットと、バートスコア、ルージュ、F1などの厳選されたアルゴリズムを使って、すぐに始めましょう。ジェネレーティブ AI アプリケーションに合わせて、独自のプロンプトデータセットとスコアリングアルゴリズムをカスタマイズできます。自動評価は、GitHubのオープンソースライブラリとしても利用できるため、どこでも実行できます。サンプルノートブックには、AWS でホストされていないモデルを含め、あらゆる FM の評価をプログラム的に実行する方法や、FM 評価を SageMaker MLOP や SageMaker パイプライン、SageMaker モデルレジストリ、SageMaker モデルカードなどのガバナンスツールと統合する方法が示されています。

評価基準の中には、微妙な違いや主観的なものもあり、評価には人間の判断が必要です。自動化されたメトリクスベースの評価に加えて、人間 (自社の従業員または AWS が管理する評価チーム) に、有用性、トーン、ブランドボイスの順守などの側面でモデルのアウトプットを評価してもらうこともできます。人間の評価担当者は、企業固有のガイドライン、命名法、ブランドボイスとの整合性をチェックすることもできます。カスタムインストラクションを設定して、評価チームにプロンプトの評価方法を指示します。たとえば、ランク付けや高評価/低評価を示すなどです。

FMを評価して、自動評価や人間ベースの評価を使用して、特定の生成的AIタスクに対して高品質の応答が得られるかどうかを判断します。要約、質問応答 (Q&A)、分類などの特定のジェネレーティブAIタスクに合わせて調整された、バートスコア、ルージュ、F1などの特定の評価アルゴリズムを使用してモデルの精度を評価します。ButterFingers、ランダムな大文字、空白の追加削除など、入力に対するセマンティックを維持したままの摂動を示すプロンプトが表示されたら、FM 出力のセマンティックな堅牢性を確認してください。

FMが人種/肌の色、性別/性同一性、性的指向、宗教、年齢、国籍、障害、外見、社会経済的地位のカテゴリーに沿ってステレオタイプをエンコードしたリスクを、自動評価または人間ベースの評価を使用して評価します。有毒物質のリスクを評価することもできます。これらの評価は、自由形式の生成、要約、質疑応答など、コンテンツの生成を伴うあらゆるタスクに適用できます。

実データが変化すると、新しいモデルの動作が起こることがあります。例えば、ある地理的リージョンのデータでトレーニングされた信用リスク予測モデルでは、他のリージョンのデータに適用された場合、さまざまな特徴量に割り当てられた重要度が変化することがあります。SageMaker Clarify は SageMaker Model Monitor と統合されており、入力特徴量の重要度が変化してモデルの動作が変化した場合に、CloudWatch などのアラートシステムを使用してユーザーに通知されます。