Доступна предварительная версия Интеллектуальной маршрутизации запросов Amazon Bedrock
Функция интеллектуальной маршрутизации запросов Amazon Bedrock направляет текстовые запросы разным базовым моделям из одного семейства, помогая оптимизировать качество ответов и затраты. Используя передовые методы сопоставления текстовых запросов и анализа моделей, функция интеллектуальной маршрутизации запросов прогнозирует производительность каждой модели по каждому запросу и динамически направляет каждый запрос той модели, которая, согласно прогнозам, с наибольшей вероятностью даст желаемый ответ с наименьшей стоимостью. В предварительной версии клиенты могут выбрать один из двух маршрутизаторов запросов, которые направляют текстовые запросы между моделями Claude Sonnet 3.5 и Claude Haiku или между Llama 3.1 8B и Llama 3.1 70B.
Amazon Bedrock – полностью управляемый сервис, предлагающий спектр высокопроизводительных базовых моделей (FM) ведущих компаний в сфере искусственного интеллекта через единый API. Amazon Bedrock также предоставляет широкий набор возможностей для создания приложений с генеративным ИИ, встроенными средствами безопасности, конфиденциальности и ответственного использования. С помощью этих технологий организации могут создавать специализированные приложения для различных сценариев использования в разных отраслях и достигать устойчивого роста, не только применяя генеративный ИИ, но и заботясь о доверии клиентов и управлении данными. Благодаря интеллектуальной маршрутизации запросов Amazon Bedrock помогает клиентам разрабатывать экономичные приложения с генеративным искусственным интеллектом, используя сочетание базовых моделей для повышения производительности при меньших затратах по сравнению с использованием одной модели.
В предварительной версии с клиентов взимается стандартный тариф по требованию за те модели, в которые маршрутизируются запросы. Дополнительные сведения см. в документации и блоге.