Упрощенное управление кэшем для моделей Claude от Anthropic в Amazon Bedrock
В Amazon Bedrock обновлено кэширование текстовых запросов для моделей Claude от Anthropic, чтобы упростить использование моделей Claude 3.5 Haiku, Claude 3.7 и Claude 4.
Раньше разработчикам приходилось вручную управлять точками кэширования и отслеживать кэшированные сегменты для повторного использования. Благодаря упрощенному управлению кэшем вам достаточно установить точку останова кэширования в конце запроса. Система автоматически считывает данные из самого длинного ранее кэшированного префикса, что устраняет необходимость вручную указывать, какие сегменты следует использовать повторно, и снижает трудозатраты на управление логикой кэша.
Благодаря автоматическому определению и использованию нужного кэшированного содержимого упрощенное управление кэшем позволяет не только сократить объем ручной работы, но и высвободить больше токенов, поскольку считываемые из кэша токены не засчитываются в квоту количества токенов в минуту (TPM). Это может упростить создание многооборотных рабочих процессов и помощников в исследованиях с одновременным повышением производительности и экономичности.
Упрощенное управление кэшем доступно сегодня во всех регионах, где модели Anthropic Claude 3.5 Haiku, Claude 3.7 и Claude 4 предлагаются в Amazon Bedrock. Для начала ознакомьтесь с руководством разработчика Amazon Bedrock и включите кэширование при вызовах модели.