AgentCore Gateway unterstützt jetzt Bedrock InvokeModel APIs und Modell-Fallback
Amazon Bedrock AgentCore Gateway unterstützt jetzt die Amazon Bedrock InvokeModel- und InvokeModelWithResponseStream-APIs auf seinem Inferenzendpunkt sowie Modell-Fallback-Routing für Inferenzverkehr. Mit der InvokeModel-Unterstützung können Sie Ihre bestehende Amazon Bedrock SDK-Integration auf das Gateway ausrichten und jeden Modellanbieter über einen kontrollierten Endpunkt erreichen, ohne den Client-Code für jeden Anbieter neu schreiben zu müssen. Beim Modell-Fallback leitet das Gateway eine Anfrage automatisch an ein alternatives Modell oder einen alternativen Anbieter weiter, wenn das primäre Ziel gedrosselt ist, seine Kapazität überschritten hat oder nicht erreichbar ist, sodass Ihre Agenten verfügbar bleiben, ohne dass jeder Client seine eigene Wiederholungslogik implementiert.
Für das Fallback-Routing definieren Sie in einer Gateway-Regel eine geordnete Kette alternativer Ziele zusammen mit den Bedingungen, die einen Switch auslösen, wie Drosselung, Serverfehler oder Antwort-Timeouts. Ein integrierter Schutzschalter überspringt Ziele, die derzeit ausfallen, sodass Anfragen schneller ein fehlerfreies Ziel erreichen und Sie zusätzliche Latenzen bei fehlgeschlagenen Versuchen vermeiden. Das Fallback-Routing erfolgt hinter den Kulissen, was bedeutet, dass Sie eine Anfrage senden und eine Antwort erhalten, unabhängig von den internen Versuchen und Irrtümern bei einer bestimmten Anfrage.
Diese Funktionen sind in allen AWS-Regionen verfügbar, in denen Amazon Bedrock AgentCore Gateway verfügbar ist (mit Ausnahme der Regionen in China). Weitere Informationen finden Sie im Benutzerhandbuch zu Amazon Bedrock AgentCore Gateway.