La API Count Tokens es compatible con los modelos Claude de Anthropic ahora disponible en Amazon Bedrock
La API Count Tokens ya está disponible en Amazon Bedrock y le permite determinar la cantidad de tokens para una petición o entrada que se envía a un ID de modelo específico antes de realizar cualquier inferencia.
Al mostrar el recuento de tokens de peticiones, la API Count Tokens le permite proyectar sus costos con mayor precisión y le brinda una mayor transparencia y control sobre el uso de sus modelos de IA. Le permite administrar de forma proactiva sus límites de tokens en Amazon Bedrock, lo que ayuda a optimizar el uso y a evitar limitaciones inesperadas. También ayuda a garantizar que las cargas de trabajo se ajusten al límite de longitud de contexto de un modelo. Esto permite una optimización más eficiente de las peticiones.
En el momento de la ejecución, la API Count Tokens admitirá los modelos Claude, y la funcionalidad estará disponible en todas las regiones en las que se admitan estos modelos. Para obtener más información sobre esta nueva característica, incluidos los modelos y casos de uso compatibles, consulte la documentación de la API Count Tokens.