Amazon Bedrock モデル評価でカスタムモデルの評価がサポートされるように
Amazon Bedrock のモデル評価では、ユースケースに最適な基盤モデルを評価、比較、選択することができます。Amazon Bedrock では、自動評価と人間による評価を選択できます。精度、堅牢性、毒性などのメトリクス用の事前定義されたをアルゴリズムを備えた自動評価を使用できます。さらに、これらのメトリクス、または親しみやすさ、スタイル、ブランド音声との整合性など、主観的なメトリクスやカスタムメトリクスについては、数回クリックするだけで人間による評価のワークフローを設定できます。人間による評価のワークフローでは、自社の従業員や AWS が管理するチームをレビュー担当者として活用できます。モデル評価には、厳選されたデータセットが組み込まれていますが、独自のデータセットを持ち込むこともできます。
今後は、Amazon Bedrock でのファインチューニングと継続的な事前トレーニングジョブから、独自のカスタムファインチューニングされたモデルを評価できるようになります。これにより、お客様は基本モデルを選択し、カスタマイズして評価し、必要に応じて再度カスタマイズするか、評価結果に満足したら本番環境に移行するというサイクルを実行できます。カスタムモデルを評価するには、評価ジョブの作成時にモデルセレクターツールで評価するモデルのリストからカスタムモデルを選択するだけです。
Amazon Bedrock のモデル評価は、これらの商用リージョンと AWS GovCloud (米国西部) リージョンで一般利用可能になりました。
Amazon Bedrock でのモデル評価の詳細については、Amazon Bedrock のデベロッパーエクスペリエンスのウェブページをご覧ください。開始するには、AWS マネジメントコンソールで Amazon Bedrock にサインインするか、Amazon Bedrock API を使用してください。