AgentCore Gateway ahora es compatible con las API InvokeModel de Bedrock y el modelo alternativo
Amazon Bedrock AgentCore Gateway ahora admite las API InvokeModel e InvokeModelWithResponseStream de Amazon Bedrock en su punto de enlace de inferencia, junto con un modelo de enrutamiento alternativo para el tráfico de inferencia. Con la compatibilidad con InvokeModel, puede dirigir su integración actual del SDK de Amazon Bedrock a la puerta de enlace y llegar a cualquier proveedor de modelos a través de un punto de enlace gobernado, sin tener que volver a escribir el código de cliente para cada proveedor. Con el modelo alternativo, la puerta de enlace dirige automáticamente una solicitud a un modelo o proveedor alternativo cuando el destino principal está limitado, se agota su capacidad o es inalcanzable, de modo que sus agentes permanecen disponibles sin que cada cliente implemente su propia lógica de reintento.
Para el enrutamiento alternativo, se define una cadena ordenada de destinos alternativos en una regla de puerta de enlace, junto con las condiciones que activan un cambio, como la limitación, los errores del servidor o los tiempos de espera de respuesta. Un disyuntor integrado omite los destinos que están fallando actualmente, por lo que las solicitudes llegan más rápido a un destino en buen estado y se evita una latencia adicional en caso de intentos fallidos. El enrutamiento alternativo se produce entre bastidores, lo que significa que envía una solicitud y recibe una respuesta, independientemente del proceso de prueba y error interno de una solicitud determinada.
Estas funciones están disponibles en todas las regiones de AWS en las que Amazon Bedrock AgentCore Gateway está disponible (excepto en China). Para obtener más información, consulte la Guía del usuario de Amazon Bedrock AgentCore Gateway.