Amazon CloudWatch добавляет поддержку наблюдаемости генеративного искусственного интеллекта (ознакомительная версия)
Amazon CloudWatch теперь позволяет отслеживать работу приложений и рабочих нагрузок генеративного искусственного интеллекта, включая агентов, развернутых и управляемых с помощью ознакомительной версии Amazon Bedrock AgentCore. Сервис предоставляет информацию о производительности, стабильности и точности ИИ. Вы получите готовое решение для мониторинга использования, задержек и ошибок рабочих нагрузок ИИ, что позволит оперативно выявлять проблемы с компонентами, например с вызовами моделей или работой агентов. Кроме того, для ускоренного обнаружения сбоев предусмотрено сквозное отслеживание текстовых запросов в таких компонентах, как базы знаний, инструменты и модели. Эта функция совместима с популярными фреймворками оркестрации генеративного искусственного интеллекта, включая Strands Agents, LangChain и LangGraph, что обеспечивает гибкость при выборе платформы.
Благодаря новой функции сервис Amazon CloudWatch анализирует данные телеметрии всех компонентов приложения генеративного искусственного интеллекта, помогая быстро определить источник ошибок. Например, с помощью сквозного отслеживания текстовых запросов, настроенных метрик и журналов можно определить, чем вызваны неверные ответы модели – пробелами в векторной базе данных (VectorDB) или неполнотой дополненной выборки в системе RAG. Такое целостное представление о взаимодействии компонентов помогает разработчикам быстрее оптимизировать рабочие нагрузки и обеспечивать высокий уровень доступности, точности, надежности и качества. Мониторинг и оценка состояния всего парка агентов в одной консоли позволяет обеспечить бесперебойную работу агентов ИИ. Представление, сформированное агентом, доступно на вкладке AgentCore консоли CloudWatch и обеспечивает наблюдаемость генеративного ИИ. Поддержка наблюдаемости генеративного искусственного интеллекта интегрирована с другими возможностями Amazon CloudWatch, включая отслеживание состояния приложений, предупреждения, информационные панели, защиту конфиденциальных данных и аналитику журналов, что позволяет без труда расширять существующие инструменты мониторинга рабочих нагрузок генеративного искусственного интеллекта.
Эта функция доступна в ознакомительной версии в четырех регионах AWS: Восток США (Северная Вирджиния), Запад США (Орегон), Европа (Франкфурт) и Азиатско-Тихоокеанский регион (Сидней). Подробнее см. в документации. На собранные и сохраненные данные телеметрии распространяются тарифы CloudWatch.