投稿日: Apr 25, 2024
SageMaker Clarify による基盤モデル評価の一般提供が開始されました。 この機能により、データサイエンティストや機械学習エンジニアは、さまざまなタスクにわたるさまざまな条件に基づいて基盤モデルを数分以内に評価、比較、選択することができます。
SageMaker のお客様は、何百もの基盤モデルからいずれかを選択して生成 AI アプリケーションを強化することができます。モデルの選択やカスタマイズの際にこれらのモデルを評価および比較して、ユースケースに最適なものを判断できます。このプロセスでは、関連するベンチマークの特定、評価ツールの設定、各モデルの評価の実施に数日かかる場合があります。得られた結果を特定のユースケースに適用するのが難しいことが多々あります。
SageMaker Clarify では、解釈可能な結果を伴う自動評価と人間による評価が可能です。お客様は Amazon SageMaker Studio のこの新機能を使用して SageMaker がホストする LLM を評価したり、fmeval を使用して任意の LLM を評価したりすることができます。テキスト生成、要約、質疑応答、分類などのタスクに合ったプロンプトデータセットを利用して始めましょう。推論パラメータとプロンプトテンプレートをカスタマイズし、さまざまなモデル設定の結果を比較できます。カスタムプロンプトデータセットとメトリクスで評価を拡張できます。人間による評価を行うことで、お客様は創造性やスタイルといった、より主観的な側面を評価することができます。評価を行うたびに、視覚化や例を含む包括的なレポートを受け取り、それらを SageMaker ML ワークフローに統合することができます。
この機能は、AWS GovCloud (米国) リージョン、中国リージョン、アジアパシフィック (ハイデラバード)、アジアパシフィック (メルボルン)、カナダ西部 (カルガリー)、欧州 (チューリッヒ)、欧州 (ストックホルム)、欧州 (スペイン)、イスラエル (テルアビブ)、中東 (UAE) を除くすべての AWS リージョンでご利用いただけます。