Ограничения Amazon Bedrock объявляют об увеличении лимитов квот на обслуживание
Ограничения Amazon Bedrock объявляют об увеличении используемых по умолчанию лимитов квот на обслуживание, что позволит масштабировать приложения с генеративным искусственным интеллектом (ИИ) для большего объема трафика. Ограничения Bedrock предоставляют настраиваемые средства защиты для фильтрации нежелательного и вредоносного контента по различным категориям и вариантам атак на основе текстовых запросов, тематические фильтры для определения и запрета определенных тем, фильтры конфиденциальных данных для скрытия информации, позволяющей установить личность (PII), фильтры для блокировки определенных слов, выявление галлюцинаций в моделях за счет определения обоснованности и релевантности ответов модели, а также автоматизированные рассуждения для выявления, исправления и пояснения фактических утверждений в ответах моделей. Политики ограничений могут быть адаптированы к вашим уникальным задачам и политикам искусственного использования ИИ. Ограничения могут применяться к любым базовым моделям, в том числе с хостингом в Amazon Bedrock или самостоятельным хостингом, а также к моделям сторонних разработчиков с помощью API-интерфейса ApplyGuardrail. Таким образом пользователи получают унифицированные возможности и стандартизированные функции управления конфиденциальность и безопасностью.
С сегодняшнего дня Ограничения Bedrock позволяют масштабировать приложения с генеративным искусственным интеллектом для поддержки большего объема трафика за счет увеличения лимитов квот на обслуживание, которые помогают обрабатывать больше транзакций в секунду (TPS) и текстовых единиц в секунду (TUPS). Благодаря этому увеличению теперь при использовании API ApplyGuardrail вы можете обрабатывать до 50 вызовов в секунду, что в два раза больше предыдущего лимита в 25 вызовов в секунду. Фильтры контента, конфиденциальных данных и текста теперь могут обрабатывать до 200 TUPS, что в восемь раз больше прежнего лимита в 25 TUPS.
Эти лимиты доступны в регионах AWS Восток США (Северная Вирджиния) и Запад США (Орегон).
Дополнительные сведения см. в технической документации и на странице продукта Ограничений Bedrock.