Поддержка сбора данных для рабочих нагрузок логического вывода в Amazon SageMaker HyperPod

Проведено: 20 мая 2026 г.

Amazon SageMaker HyperPod теперь поддерживает сбор данных для рабочих нагрузок логического вывода — новую возможность, позволяющую записывать полезные данные запросов и ответов логического вывода с рабочих адресов в Amazon S3. Клиентам, развертывающим в HyperPod модели генеративного искусственного интеллекта, необходимо визуализировать входные и выходные данные моделей для выявления дрейфа, устранения производственных проблем, создания оценочных наборов данных и непрерывного улучшения развернутых моделей, однако в прошлом для такой визуализации им приходилось создавать собственные конвейеры ведения журналов за пределами сервиса.

Теперь же, используя сбор данных, клиенты могут обучать черновые модели спекулятивного декодирования на основе реального производственного трафика, обеспечивающие большую эффективность по сравнению с обычными черновыми моделями. Они также могут создавать конвейеры оценки на основе производственных данных, предоставлять заданиям точной настройки входные данные из реального мира и вести журналы аудита для соответствия требованиям. Клиенты выбирают, где будет собираться трафик логического вывода для каждого адреса: на адресе SageMaker, в балансировщике нагрузки или в поде модели. Собранные данные доставляются асинхронно в бакет Amazon S3 без блокирования логического вывода. Поддерживается настраиваемая выборка и управляемое клиентом шифрование на основе Сервиса управления ключами AWS (AWS KMS). Вы можете активировать сбор данных при развертывании моделей с помощью оператора вывода HyperPod, а затем использовать собранные данные в Мониторе модели Amazon SageMaker и существующих рабочих процессах оценки, точной настройки и обучения черновых моделей.

Эта функция доступна для кластеров SageMaker HyperPod, использующих оркестратор Amazon Elastic Kubernetes Service (Amazon EKS), во всех регионах AWS, где поддерживается Amazon SageMaker HyperPod. Подробнее см. раздел Сбор данных для логического вывода в HyperPod.