O AgentCore Gateway agora oferece suporte às APIs Bedrock InvokeModel e ao fallback de modelos
O Amazon Bedrock AgentCore Gateway agora oferece suporte às APIs Amazon Bedrock InvokeModel e InvokeModelWithResponseStream em seu endpoint de inferência, junto com o modelo de roteamento alternativo para tráfego de inferência. Com o suporte do InvokeModel, você pode direcionar sua integração existente do SDK do Amazon Bedrock para o gateway e alcançar qualquer provedor de modelo por meio de um endpoint controlado, sem reescrever o código do cliente para cada provedor. Com o modelo fallback, o gateway encaminha automaticamente uma solicitação para um modelo ou provedor alternativo quando o destino principal está limitado, fora de capacidade ou inacessível, para que seus agentes permaneçam disponíveis sem que cada cliente implemente sua própria lógica de nova tentativa.
Para roteamento alternativo, você define uma cadeia ordenada de destinos alternativos em uma regra de gateway, junto com as condições que acionam um switch, como controle de utilização, erros do servidor ou tempos limite de resposta. Um disjuntor embutido ignora destinos que estão falhando no momento, para que as solicitações cheguem a um destino saudável mais rapidamente e você evite latência adicional em caso de tentativas fracassadas. O roteamento alternativo acontece nos bastidores, o que significa que você envia uma solicitação e recebe uma resposta, independentemente da tentativa e erro internos de uma determinada solicitação.
Esses recursos estão disponíveis em todas as regiões da AWS em que o Amazon Bedrock AgentCore Gateway está disponível (exceto nas regiões da China). Para saber mais, consulte o Guia do usuário do Amazon Bedrock AgentCore Gateway.