Amazon Bedrock расширяет поддержку сервисных квот
Amazon Bedrock – это полностью управляемый сервис, обеспечивающий безопасный доступ корпоративного уровня к высокопроизводительным базовым моделям от ведущих компаний, занимающихся искусственным интеллектом. Этот сервис поможет вам создавать и масштабировать приложения на основе генеративного искусственного интеллекта. Теперь клиенты Amazon Bedrock могут проверять квоты логических выводов для адреса bedrock-mantle с помощью сервиса AWS «Квоты на обслуживание». Это привычный и знакомый клиентам способ отслеживания лимитов для адресов, аналогичный проверке для адреса bedrock-runtime и других сервисов AWS. Он позволяет пользователям получить точные сведения об ограничениях для их рабочих нагрузок.
Адрес bedrock-mantle поддерживает API Responses и API Chat Completions от OpenAI, а также API Anthropic Messages, что позволяет клиентам запускать в Amazon Bedrock существующие приложения на основе OpenAI или Anthropic с минимальными изменениями в коде. Сервис «Квоты на обслуживание» в AWS теперь позволяет узнать квоты на количество входных токенов для каждой модели в минуту и количество выходных токенов в минуту для поддерживаемых моделей на определенном адресе.
После этого выпуска клиенты смогут получать информацию о том, какие ограничения действуют у них для адреса bedrock-mantle, и заблаговременно планировать объем производственных действий. Для начала откройте консоль «Квоты на обслуживание» в AWS, выберите Amazon Bedrock и введите Bedrock Mantle, чтобы увидеть текущие квоты. Чтобы запросить увеличение любой из них, следуйте стандартной процедуре повышения лимита в Amazon Bedrock. Поддержка квот на обслуживание для адреса bedrock-mantle доступна во всех регионах AWS, где этот адрес предлагается: Восток США (Огайо, Северная Виргиния), Запад США (Орегон), Азиатско-Тихоокеанский регион (Джакарта, Мумбаи, Сидней, Токио), Европа (Ирландия, Лондон, Милан, Стокгольм, Франкфурт) и Южная Америка (Сан-Паулу). Подробнее см. в разделе Квоты для Amazon Bedrock.