Новые возможности наблюдаемости для адресов логического вывода Amazon SageMaker AI
Новые возможности наблюдаемости в Amazon SageMaker AI позволяют клиентам уверенно управлять производственными рабочими нагрузками логического вывода на основе генеративного искусственного интеллекта (ИИ), предоставляя им полную информацию об использовании токенов, состоянии графических процессоров (GPU), размещении компонентов логического вывода и работе автомасштабирования. Это избавляет от необходимости вручную искать в CloudWatch метрики для каждого адреса, сопоставлять пиковые задержки с загруженностью GPU или исчерпанием кеша пар «ключ-значение» и диагностировать, почему операции масштабирования выполняются медленно. Данная возможность отслеживает показатели производительности логического вывода в режиме реального времени, включая время до первого токена (TTFT), задержку между токенами, глубину очереди и количество токенов в секунду, отображая их вместе с состоянием инфраструктуры, чтобы клиенты могли выявлять и устранять проблемы за считаные минуты, а не часы.
Детальная наблюдаемость в SageMaker AI трансформирует мониторинг и оптимизацию парка ресурсов логического вывода для клиентов. Новая предварительно настроенная панель аналитики SageMaker AI в Amazon CloudWatch обеспечивает клиентам единое представление данных о задержке токенов, задействовании GPU, числе копий компонентов логического вывода, событиях масштабирования и подробностях холодных запусков, а внутренние метрики OpenTelemetry публикуются автоматически без использования каких-либо инструментов. Это позволяет специалистам быстро диагностировать ухудшение показателей TTFT, проверять соответствие требований в зонах доступности и настраивать политики автомасштабирования. Клиенты, использующие такие стандартные инструменты наблюдаемости, как Grafana, могут подключиться к ним напрямую, используя региональный адрес PromQL, и импортировать готовый шаблон информационной панели. Эта возможность помогает клиентам самостоятельно решать управленческие проблемы и использовать приобретенные ИИ-решения с максимальной эффективностью.
Функции наблюдаемости для логического вывода SageMaker AI доступны в следующих регионах AWS: Восток США (Северная Вирджиния, Огайо), Запад США (Орегон, Северная Калифорния), Канада (Центральная), Южная Америка (Сан-Паулу), Европа (Ирландия, Франкфурт, Лондон, Стокгольм, Цюрих) и Азиатско-Тихоокеанский регион (Мумбаи, Сингапур, Сидней, Токио, Сеул и Джакарта). Подробнее см. документацию и веб-страницу Amazon SageMaker AI.