Amazon Bedrock анонсирует предварительную версию кэширования текстовых запросов
Сегодня AWS объявляет, что Amazon Bedrock теперь поддерживает кэширование текстовых запросов. Кэширование текстовых запросов – это новая возможность, которая позволяет на 90 % снизить затраты и на 85 % сократить задержку для поддерживаемых моделей за счет кэширования часто используемых текстовых запросов в разных вызовах API. Это позволяет кэшировать повторяющиеся входные данные и избежать повторной обработки контекста, такого как длинные системные текстовые запросы и типичные примеры, помогающие настроить реагирование модели. Если используется кэш, то для генерирования выходных данных требуется меньше вычислительных ресурсов. В результате мы можем не только быстрее обработать ваш запрос, но и сократить расходы за счет использования меньшего количества ресурсов.
Amazon Bedrock – это полностью управляемый сервис, который предлагает широкий выбор высокопроизводительных базовых моделей от ведущих компаний в сфере искусственного интеллекта в одном API-интерфейсе. Amazon Bedrock также предоставляет широкий набор возможностей для создания приложений с генеративным ИИ, встроенными средствами безопасности, конфиденциальности и ответственного использования. С помощью этих технологий организации могут создавать специализированные приложения для различных вариантов использования в разных отраслях и достигать устойчивого роста, не только применяя генеративный искусственный интеллект, но и помогая выстроить доверительные отношения с клиентами и обеспечить управление данными.
Кэширование текстовых запросов теперь доступно в моделях Claude 3.5 Haiku и Claude 3.5 Sonnet v2 в регионах Запад США (Орегон) и Восток США (Северная Вирджиния) при использовании межрегионального вывода, а также в моделях Nova Micro, Nova Lite и Nova Pro в регионе Восток США (Северная Вирджиния). На момент запуска доступ к этой функции будет предоставляться лишь ограниченному числу клиентов. Подробнее об использовании предварительной версии см. на этой странице. Дополнительные сведения о кэшировании текстовых запросов см. в нашей документации и блоге.