Новые метрики Amazon CloudWatch в Amazon Bedrock для API, совместимых с OpenAI и Anthropic
Amazon Bedrock – это полностью управляемый сервис, обеспечивающий безопасный доступ корпоративного уровня к высокопроизводительным базовым моделям от ведущих компаний, занимающихся искусственным интеллектом. Этот сервис поможет вам создавать и масштабировать приложения на основе генеративного искусственного интеллекта. Теперь клиенты Amazon Bedrock могут отслеживать трафик логического вывода, поступающий на адрес bedrock-mantle, используя метрики Amazon CloudWatch, аналогично тому, как это уже делается с адресом bedrock-runtime и другими сервисами AWS. Адрес bedrock-mantle поддерживает API-интерфейсы Responses и Chat Completions от OpenAI, а также Messages от Anthropic, что позволяет клиентам запускать в Amazon Bedrock существующие приложения на базе OpenAI или Anthropic с минимальным изменением кода.
Метрики CloudWatch для адреса bedrock-mantle публикуются в пространстве имен AWS/BedrockMantle и включают счетчики логического вывода, токенов ввода и вывода, а также клиентских ошибок. Метрики публикуются с разными уровнями детализации, включая уровень аккаунта, проекта, модели или одновременно проекта и модели, поэтому клиенты могут соотносить использование и затраты с конкретными рабочими нагрузками и группами специалистов.
Благодаря запуску этой возможности клиенты смогут отслеживать логический вывод в производственных системах, настраивать оповещения и планировать ресурсы на адресе bedrock-mantle. Для начала откройте консоль Amazon CloudWatch, выберите «Метрики» и укажите пространство имен AWS/BedrockMantle для просмотра метрик своего аккаунта. Метрики CloudWatch для адреса bedrock-mantle доступны во всех регионах AWS, где предлагается этот адрес: Восток США (Северная Вирджиния, Огайо), Запад США (Орегон), Азиатско-Тихоокеанский регион (Джакарта, Мумбаи, Сидней, Токио), Европа (Франкфурт, Ирландия, Лондон, Милан, Стокгольм) и Южная Америка (Сан-Паулу). См. дополнительные сведения о метриках CloudWatch для адреса bedrock-mantle.