L'API Count Tokens est désormais prise en charge pour les modèles Claude d'Anthropic sur Amazon Bedrock
L'API Count Tokens est désormais disponible dans Amazon Bedrock, ce qui vous permet de déterminer le nombre de jetons pour une invite ou une entrée donnée envoyée à un identifiant de modèle spécifique avant d'effectuer une quelconque inférence.
En faisant apparaître le nombre de jetons d'une invite, l'API Count Tokens vous permet de projeter vos coûts avec plus de précision et vous offre une transparence et un contrôle accrus sur l'utilisation de votre modèle d'IA. Il vous permet de gérer de manière proactive les limites de vos jetons sur Amazon Bedrock, ce qui vous permet d'optimiser votre utilisation et d'éviter des limitations inattendues. Cela permet également de garantir que vos charges de travail respectent la limite de longueur du contexte d'un modèle, ce qui permet une optimisation rapide plus efficace.
Au lancement, l'API Count Tokens prendra en charge les modèles Claude, les fonctionnalités étant disponibles dans toutes les régions où ces modèles sont pris en charge. Pour en savoir plus sur cette nouvelle fonctionnalité, y compris les modèles pris en charge et les cas d'utilisation, consultez la documentation de l'API Count Tokens.