投稿日: Nov 29, 2023
本日、基盤モデル (FM) の評価をサポートする Amazon SageMaker Clarify の新しい機能を発表いたします。AWS のお客様は、精度、堅牢性、バイアス、毒性などのメトリクスに基づいて FM を数分で比較および選択できます。
現在、生成系 AI アプリケーションを駆動する FM には幅広い選択肢があるため、お客様はこれらのモデルをすばやく比較して、ユースケースに最適なオプションを見つけたいと考えています。モデルの比較を始めるにあたり、お客様はまず何日もかけて関連するベンチマークを特定し、評価ツールを設定し、各モデルについて評価を行います。多くの場合、その結果を解釈するのは容易ではありません。
SageMaker Clarify は、モデルの選択時、およびモデルのカスタマイズワークフロー全体における FM 評価をサポートするようになりました。お客様は、自由形式のテキスト生成、要約、質問への回答、分類などの一般的なタスクに特化した、厳選されたプロンプトデータセットを活用することで、FM 評価を開始できます。お客様は、独自のカスタムプロンプトデータセットを使用して FM 評価を拡張できます。創造性やスタイルなど、より主観的な領域では人間による評価を行うこともできます。評価を行うたびに、自然言語で結果が要約され、視覚化と例を含む評価レポートを受け取ります。すべてのメトリクスとレポートは、ダウンロードして SageMaker ML ワークフローに統合できます。