Интеллектуальная маршрутизация запросов Amazon Bedrock

Обзор

Функция интеллектуальной маршрутизации запросов Amazon Bedrock маршрутизирует текстовые запросы к различным базовым моделям в одном семействе моделей, помогая оптимизировать качество ответов и финансовые затраты. Интеллектуальная маршрутизация запросов позволяет сократить расходы на 30 % без ущерба для точности.

Максимизируйте производительность при меньших затратах

Разработчикам может быть сложно понять, какие запросы требуют более совершенных моделей, а какие смогут работать с более быстрыми и дешевыми моделями меньшего размера. Используя передовые методы сопоставления текстовых запросов и понимания моделей, функция интеллектуальной маршрутизации запросов прогнозирует производительность каждой модели по каждому запросу и динамически маршрутизирует каждый запрос в модель, которая, согласно прогнозам, с наибольшей вероятностью даст желаемый ответ при наименьших затратах. В ознакомительном режиме можно выбрать один из двух маршрутизаторов текстовых запросов, которые маршрутизируют запросы между моделями Claude Sonnet 3.5 и Claude Haiku или между Llama 3.1 7B и Llama 3.1 80B.

Снимок экрана пользовательского интерфейса

Сократите усилия на разработку

Для достижения требуемой производительности в разрезе требований к точности и стоимости приложений часто приходится разрабатывать сложные рабочие процессы оркестрации, перенаправляя каждый запрос в модель, наиболее подходящую для этого запроса на основе вашего опыта. С помощью интеллектуальной маршрутизации запросов можно сэкономить месяцы усилий на тестировании различных моделей и создании сложных рабочих процессов оркестрации.

Снимок экрана пользовательского интерфейса

Простая отладка с помощью полностью отслеживаемых запросов

Каждый запрос полностью отслеживается, что позволяет определить, какая модель его обрабатывает, а также упрощает анализ и отладку любых проблем.

Снимок экрана пользовательского интерфейса

Примечания к ценам

В ознакомительном режиме с клиентов взимается обычная плата по запросу за те модели, в которые маршрутизируются запросы. Подробные расценки разных поставщиков моделей см. на нашей странице цен.

Фото калькулятора