投稿日: May 17, 2024
Amazon Bedrock のナレッジベース (KB) では、推論パラメーターを設定して、基礎モデル (FM) によって生成される応答のパーソナライズをより細かく制御できるようになりました。
今回のリリースでは、オプションで推論パラメーターを設定して、基礎モデルによって生成される応答のランダム性や長さなどのパラメーターを定義できます。温度や top-p などのいくつかの設定を調整することで、生成されるテキストのランダム性や多様性を制御できます。温度設定により、モデルが通常とは異なる単語や予期しない単語を選択する可能性が高まったり低くなったりします。温度の値が小さいほど、予想されるより一般的な単語が選択されます。top-p 設定では、モデルが考慮する単語オプションの数を制限します。この数を減らすと、考慮する単語の選択肢の数が少なくなり、出力がより一般的なものになります。
ランダム性と多様性に加えて、MaxTokens と stopsequence を通じて、基礎モデルの出力の長さを制限できます。MaxTokens 設定を使用して、生成された応答で返されるトークンの最小数または最大数を指定できます。最後に、stopsequence 設定を使用すると、モデルがそれ以上のトークンの生成を停止するように制御する役割を果たす文字列を設定できます。
Knowledge Bases 内の推論パラメータ機能が、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、欧州 (フランクフルト)、米国東部 (バージニア北部)、米国西部 (オレゴン) の各リージョンで利用できるようになりました。詳細については、Knowledge Bases for Amazon Bedrock のドキュメントをご覧ください。開始するには、Amazon Bedrock コンソールにアクセスするか、RetrieveAndGenerate API を利用してください。