Шлюз AgentCore теперь поддерживает API-интерфейсы Bedrock InvokeModel и резервное переключение моделей
Шлюз Amazon Bedrock AgentCore теперь поддерживает на адресах вывода API-интерфейсы Amazon Bedrock InvokeModel и InvokeModelWithResponseStream, а также резервное переключение моделей для трафика вывода. Благодаря поддержке InvokeModel вы можете направить существующую интеграцию Amazon Bedrock SDK на шлюз и связаться с любым поставщиком моделей через один управляемый адрес, не переписывая код клиента для каждого поставщика. При резервном переключении, если запрашиваемая модель оказалась недоступна, перегружена или ограничена в использовании, шлюз автоматически перенаправляет запрос альтернативной модели или поставщику. Таким образом, ваши агенты остаются доступны, а клиенты не пытаются переподключиться самостоятельно.
В правиле шлюза вы устанавливаете точный порядок альтернативных адресов для резервной маршрутизации, а также условия, при которых она запускается, например ограничение частоты обращений к модели, ошибки сервера или задержки ответа. Встроенный предохранитель автоматически пропускает поставщиков и модели, у которых в данный момент произошел сбой, поэтому запросы быстрее доходят по верному адресу, что позволяет избежать лишних задержек на неудачные попытки. Резервная маршрутизация происходит «под капотом», то есть, отправив один запрос, вы получаете один ответ, независимо от количества неудачных попыток.
Эти функции доступны во всех регионах AWS, где доступен шлюз Amazon Bedrock AgentCore (кроме регионов Китая). Дополнительные сведения см. в руководстве пользователя шлюза Amazon Bedrock AgentCore.