AgentCore Gateway ora supporta le API InvokeModel di Bedrock e il fallback dei modelli
Amazon Bedrock AgentCore Gateway ora supporta le API InvokeModel e InvokeModelWithResponseStream di Amazon Bedrock sul proprio endpoint di inferenza, insieme all'instradamento di fallback del modello per il traffico di inferenza. Con il supporto di InvokeModel, puoi indirizzare l'integrazione dell'SDK di Amazon Bedrock esistente verso il gateway e raggiungere qualsiasi provider di modelli tramite un unico endpoint governato, senza dover riscrivere il codice client per ciascun provider. Con il fallback dei modelli, il gateway instrada automaticamente una richiesta a un modello o provider alternativo quando la destinazione primaria è soggetta a limitazioni, fuori capacità o irraggiungibile, garantendo che gli agenti rimangano disponibili senza che ciascun client debba implementare una propria logica di riprova.
Per il routing di fallback, si definisce una catena ordinata di destinazioni alternative all'interno di una regola del gateway, unitamente alle condizioni che ne determinano l'attivazione, quali limitazioni, errori del server o timeout delle risposte. Un interruttore di circuito integrato esclude le destinazioni al momento non funzionanti, consentendo alle richieste di raggiungere più rapidamente una destinazione integra ed evitando latenze aggiuntive dovute ai tentativi non riusciti. Il routing di fallback avviene in background: questo significa che invii un'unica richiesta e ricevi un'unica risposta, indipendentemente dai tentativi e dagli errori interni verificatisi durante l'elaborazione.
Queste funzionalità sono disponibili in tutte le regioni AWS in cui è disponibile Amazon Bedrock AgentCore Gateway (eccetto quelle in Cina). Per ulteriori informazioni, consulta la Guida per l'utente di Amazon Bedrock AgentCore Gateway.