Suporte da API Count Tokens para modelos Claude da Anthropic já está disponível no Amazon Bedrock
Agora, a API Count Tokens está disponível no Amazon Bedrock, permitindo que você determine a contagem de tokens de um determinado prompt ou entrada enviada para um ID de modelo específico antes de realizar qualquer inferência.
Com a contagem de tokens de um prompt informada pela API Count Tokens, você pode projetar custos com mais precisão e obter maior transparência e controle sobre o uso dos modelos de IA. Ela permite que você gerencie proativamente os limites de tokens no Amazon Bedrock, otimizando o uso e evitando controles de utilização inesperados. Além disso, ajuda a garantir que as workloads se ajustem ao limite de tamanho do contexto de um modelo, permitindo uma otimização de prompts mais eficiente.
No lançamento, a API Count Tokens oferecerá suporte aos modelos Claude. A funcionalidade está disponível em todas as regiões com suporte para esses modelos. Para obter mais informações sobre esse novo recurso, incluindo modelos e casos de uso com suporte, acesse a documentação da API Count Tokens.