Интеллектуальная маршрутизация запросов Amazon Bedrock
Обзор
Функция интеллектуальной маршрутизации запросов Amazon Bedrock маршрутизирует текстовые запросы к различным базовым моделям в одном семействе моделей, помогая оптимизировать качество ответов и финансовые затраты. Интеллектуальная маршрутизация запросов позволяет сократить расходы на 30 % без ущерба для точности.
Максимизируйте производительность при меньших затратах
Разработчикам может быть сложно понять, какие запросы требуют более совершенных моделей, а какие смогут работать с более быстрыми и дешевыми моделями меньшего размера. Используя передовые методы сопоставления текстовых запросов и понимания моделей, функция интеллектуальной маршрутизации запросов прогнозирует производительность каждой модели по каждому запросу и динамически маршрутизирует каждый запрос в модель, которая, согласно прогнозам, с наибольшей вероятностью даст желаемый ответ при наименьших затратах. В ознакомительном режиме можно выбрать один из двух маршрутизаторов текстовых запросов, которые маршрутизируют запросы между моделями Claude Sonnet 3.5 и Claude Haiku или между Llama 3.1 7B и Llama 3.1 80B.

Сократите усилия на разработку
Для достижения требуемой производительности в разрезе требований к точности и стоимости приложений часто приходится разрабатывать сложные рабочие процессы оркестрации, перенаправляя каждый запрос в модель, наиболее подходящую для этого запроса на основе вашего опыта. С помощью интеллектуальной маршрутизации запросов можно сэкономить месяцы усилий на тестировании различных моделей и создании сложных рабочих процессов оркестрации.

Простая отладка с помощью полностью отслеживаемых запросов
Каждый запрос полностью отслеживается, что позволяет определить, какая модель его обрабатывает, а также упрощает анализ и отладку любых проблем.

Примечания к ценам
В ознакомительном режиме с клиентов взимается обычная плата по запросу за те модели, в которые маршрутизируются запросы. Подробные расценки разных поставщиков моделей см. на нашей странице цен.
