Amazon Bedrock Advanced Prompt Optimization がプロンプトの短縮をサポート
Amazon Bedrock Advanced Prompt Optimization は、プロンプトの短縮をサポートするようになりました。これは、評価スコアを維持または向上させながら、プロンプトの長さを短くするオプション設定です。Advanced Prompt Optimization は、独自の評価基準に対して、Amazon Bedrock 上の任意のモデルのプロンプトを最適化します。これまでは、最適化は品質のみに焦点を当てていました。そのため、最適化されたプロンプトは元のプロンプトよりも長くなることがよくありました。プロンプトが長くなると入力トークンのコストが上昇し、最初のトークンが出力されるまでの時間が増加する可能性があり、これは大規模な運用やレイテンシーの影響を受けやすいアプリケーションにおいて重要となります。
入力データセット内のプロンプトテンプレートに対してプロンプトの短縮をオンにすると、オプティマイザーはプロンプトの長さを短くします。最適化されたプロンプトは、それが元のプロンプトよりも短く、かつ評価スコアが同等以上である場合にのみ返されます。それ以外の場合は元のプロンプトが返されるため、この設定によって元のプロンプトより長くなったり、スコアが低くなったりすることはありません。結果には、圧縮率と、元のトークン数および最適化後のトークン数が、出力ファイルとコンソールの結果ページに含まれます。例えば、圧縮率が 0.7 の場合、最適化されたプロンプトが使用するトークン数が 30% 少ないことを意味します。プロンプトの短縮は、ステアリング基準、LLM-as-a-judge のルーブリック、カスタムの Lambda エバリュエーターなど、あらゆる評価方法で機能します。
プロンプトの短縮は、Advanced Prompt Optimization が利用可能なすべての AWS リージョンでご利用いただけます。使用を開始するには、入力データセット内のプロンプトテンプレートに対してプロンプトの短縮を有効にし、通常どおりに最適化ジョブを作成します。詳細については、Amazon Bedrock ユーザーガイドの Shorten prompts、Amazon Bedrock の料金ページ、および Amazon Bedrock の製品ページをご覧ください。