Расширенная оптимизация промптов Amazon Bedrock теперь поддерживает сокращение промптов
Расширенная оптимизация промптов Amazon Bedrock теперь поддерживает сокращение промптов – опциональную настройку, позволяющую сократить длину промпта с сохранением или повышением оценочных баллов. Расширенная оптимизация промптов оптимизирует промпты для любой модели в Amazon Bedrock в соответствии с вашими собственными критериями оценки. До сих пор оптимизация была направлена только на повышение качества. Оптимизированные промпты часто были длиннее исходных. Более длинные промпты повышают стоимость входных токенов и могут увеличить время до первого токена, что важно при масштабировании и в приложениях, чувствительных к задержкам.
Когда вы включаете сокращение промптов для шаблона промпта во входном наборе данных, оптимизатор уменьшает длину промпта. Оптимизированный промпт возвращается только в том случае, если он короче исходного и имеет по крайней мере такую же оценку. В противном случае возвращается исходный промпт, поэтому при выборе этой настройки вы никогда не получите более длинный промпт или промпт с более низкой оценкой. В выходном файле и на странице результатов консоли указываются коэффициент сжатия, а также исходное и оптимизированное количество токенов. Например, коэффициент сжатия 0,7 означает, что оптимизированный промпт использует на 30 % меньше токенов. Сокращение промптов подходит для любого метода оценки, включая руководящие критерии, рубрики LLM-как-эксперт и специализированные оценщики Lambda.
Сокращение промптов доступно во всех регионах AWS, где поддерживается Расширенная оптимизация промптов. Для начала включите сокращение промптов для шаблона промпта во входном наборе данных и создайте задание оптимизации обычным образом. Подробнее см. в разделе Сокращение промптов в Руководстве пользователя Amazon Bedrock, на странице цен на Amazon Bedrock и на странице продукта Amazon Bedrock.