Amazon Bedrock amplia il supporto per l'attribuzione dell'utilizzo a livello di richiesta
I clienti di Amazon Bedrock possono ora attribuire l'utilizzo dell'inferenza del modello a team, applicazioni, ambienti ed esperimenti specifici a livello di singola richiesta sulle API InvokeModel e InvokeModelWithResponseStream. Ciò offre ai clienti una visibilità granulare su come l'utilizzo di Amazon Bedrock è distribuito all'interno della propria organizzazione, aiutandoli
a comprendere i modelli di consumo, ottimizzare la spesa e comunicare l'utilizzo agli stakeholder interni senza eseguire il provisioning di risorse aggiuntive.
Questo lancio si basa sul portafoglio esistente di funzionalità di attribuzione dell'utilizzo di Amazon Bedrock. I clienti possono già attribuire l'utilizzo dell'inferenza del modello a livello di risorsa e di identità utilizzando i profili di inferenza dell'applicazione, l'attribuzione basata sull'entità principale IAM, il tracciamento a livello di progetto sull'endpoint bedrock-mantle compatibile con OpenAI e il monitoraggio a livello di spazio di lavoro per
i modelli Anthropic Claude. Per un'attribuzione ancora più granulare per singola richiesta, le API Converse e ConverseStream supportano i metadati a livello di richiesta fin dal loro lancio. La versione odierna estende la stessa funzionalità alle API InvokeModel e InvokeModelWithResponseStream, offrendo ai clienti un modo coerente per etichettare le chiamate di inferenza su tutto l'endpoint bedrock-runtime.
Con questo lancio, i clienti possono taggare ogni chiamata di inferenza del modello Amazon Bedrock con attributi quali team, progetto o ambiente, e analizzare l'utilizzo in base a questi tag nei log di chiamata del modello Amazon Bedrock. Per iniziare, abilita la registrazione delle chiamate del modello nella regione AWS in cui viene richiamato Amazon Bedrock, quindi aggiungi i metadati alle richieste di inferenza. Questa funzionalità è disponibile in tutte le regioni commerciali AWS in cui è disponibile Amazon Bedrock. Per saperne di più, consulta Metadati della richiesta.