Amazon Bedrock amplia o suporte para atribuição de uso no nível de solicitação
Agora, os clientes do Amazon Bedrock podem atribuir o uso da inferência de modelos a equipes, aplicações, ambientes e experimentos específicos no nível de solicitação individual nas APIs InvokeModel e InvokeModelWithResponseStream. Com esse recurso, os clientes têm uma visibilidade detalhada da distribuição do Amazon Bedrock distribuído por toda a organização,
o que ajuda a entender os padrões de consumo, otimizar os gastos e relatar o uso às partes interessadas internas sem provisionar recursos adicionais.
Este lançamento se baseia no portfólio existente de recursos de atribuição de uso do Amazon Bedrock. Os clientes já podem atribuir o uso da inferência de modelos no nível de recurso e de identidade usando perfis de inferência de aplicações, atribuição baseada em entidades principais do IAM, rastreamento no nível de projeto no endpoint bedrock-mantle compatível com OpenAI e rastreamento no nível de espaço de trabalho para os
modelos Claude da Anthropic. Para uma atribuição mais refinada por solicitação, as APIs Converse e ConverseStream oferecem suporte a metadados no nível de solicitação desde o lançamento. A versão de hoje traz o mesmo recurso às APIs InvokeModel e InvokeModelWithResponseStream, oferecendo aos clientes uma maneira consistente de marcar chamadas de inferência em todo o endpoint bedrock-runtime.
Com esse lançamento, os clientes podem marcar cada chamada de inferência de modelo do Amazon Bedrock com atributos como equipe, projeto ou ambiente e analisar o uso dessas tags nos logs de invocação de modelos do Amazon Bedrock. Para começar, habilite o registro em log de invocação de modelos na região da AWS na qual você chama o Amazon Bedrock e adicione metadados às solicitações de inferência. Esse recurso está disponível em todas as regiões comerciais da AWS que oferecem o Amazon Bedrock. Para saber mais, consulte Request metadata.