Amazon Bedrock aggiunge i parametri di Amazon CloudWatch per le API compatibili con OpenAI e Anthropic
Amazon Bedrock è un servizio completamente gestito che offre accesso sicuro e di livello aziendale a modelli di fondazione ad alte prestazioni forniti da aziende leader nel campo dell'IA, consentendo di sviluppare e scalare applicazioni di IA generativa in modo efficiente. I clienti di Amazon Bedrock possono ora monitorare il traffico di inferenza verso l'endpoint bedrock-mantle con i parametri di Amazon CloudWatch, nello stesso modo in cui già fanno per l'endpoint bedrock-runtime e altri servizi AWS. L’endpoint bedrock-mantle supporta l'API Responses di OpenAI, l'API Chat Completions e l'API Messages di Anthropic, consentendo ai clienti di eseguire applicazioni esistenti basate su OpenAI o Anthropic su Amazon Bedrock con modifiche minime al codice.
I parametri di CloudWatch per l'endpoint bedrock-mantle sono pubblicati nel namespace AWS/BedrockMantle e includono i conteggi delle inferenze, i totali dei token di input e output e il conteggio degli errori del client. I parametri vengono pubblicati a più livelli di granularità, tra cui account, progetto, modello e progetto e modello, in modo che i clienti possano attribuire l'utilizzo e i costi ai carichi di lavoro e ai team corretti.
Con questo lancio, i clienti possono monitorare l'inferenza di produzione, impostare allarmi e pianificare la capacità sull'endpoint bedrock-mantle. Per iniziare, apri la console di Amazon CloudWatch, scegli Metrics e seleziona il namespace AWS/BedrockMantle per visualizzare i parametri del tuo account. I parametri di CloudWatch per l'endpoint bedrock-mantle sono disponibili in tutte le regioni AWS in cui l'endpoint è offerto: Stati Uniti orientali (Virginia settentrionale, Ohio), Stati Uniti occidentali (Oregon), Asia Pacifico (Giacarta, Mumbai, Sydney, Tokyo), Europa (Francoforte, Irlanda, Londra, Milano, Stoccolma) e Sud America (San Paolo). Per ulteriori informazioni, consulta la sezione Parametri di CloudWatch per l'endpoint bedrock-mantle.