API Count Tokens теперь поддерживается для моделей Claude от Anthropic в Amazon Bedrock
В Amazon Bedrock теперь доступен API Count Tokens, который позволяет определять количество токенов для данного текстового запроса или входных данных, отправляемых в модель с определенным идентификатором, прежде чем приступать к выводу.
Сообщая количество токенов для текстового запроса, API Count Tokens дает возможность более точно прогнозировать затраты, а также обеспечивает большую прозрачность и контроль над использованием модели ИИ. Это позволяет вам заблаговременно управлять лимитами токенов в Amazon Bedrock, что помогает оптимизировать использование и избежать непредвиденного регулирования. Это также помогает обеспечить соответствие рабочих нагрузок ограничению модели на длину контекста, чтобы более эффективно оптимизировать текстовые запросы.
С момента запуска API Count Tokens будет поддерживать модели Claude и будет доступен во всех регионах, где поддерживаются эти модели. Подробнее об этой новой функции, включая поддерживаемые модели и примеры использования, см. в документации API Count Tokens.