Эксперименты машинного обучения под управлением Amazon SageMaker и MLflow

Эффективно управляйте моделями машинного обучения и экспериментами для приложений на основе генеративного искусственного интеллекта в большом масштабе с помощью MLflow

Что дает объединение Amazon SageMaker с MLflow?

Amazon SageMaker предоставляет управляемую возможность MLflow для экспериментов машинного обучения (ML) и генеративного искусственного интеллекта. Эта возможность позволяет специалистам по обработке данных легко применять MLflow в SageMaker для обучения, регистрации и развертывания моделей. Администраторы могут быстро настроить безопасные и масштабируемые среды MLflow в AWS. Специалисты по обработке данных и разработчики машинного обучения могут эффективно контролировать эксперименты машинного обучения и выбирать наиболее подходящую модель для решения бизнес-задачи.

Преимущества Amazon SageMaker с MLflow

Отслеживание эксперименты из любого места

Эксперименты с машинным обучением можно выполнять в любых средах, таких как локальные ноутбуки, среды IDE, код обучения в облаке или управляемые среды IDE в Студии Amazon SageMaker. Сочетание SageMaker AI и MLflow позволяет использовать любую среду на ваш выбор для обучения моделей, отслеживания экспериментов в MLflow и работы с пользовательским интерфейсом MLflow напрямую или через Студию SageMaker для анализа.

Журналы экспериментов

Совместная работа над экспериментами с моделями

Эффективное командное сотрудничество крайне важно для успешного выполнения проектов по обработке и анализу данных. SageMaker Studio позволяет управлять серверами отслеживания MLflow и экспериментами, а также изучать их, благодаря чему сотрудники могут обмениваться информацией и получать согласованные результаты экспериментов, что упрощает совместную работу.

Централизованное управление метаданными экспериментов машинного обучения

Оценка экспериментов

Чтобы выбрать лучшую модель из нескольких итераций, нужно выполнить анализ и сопоставить производительность моделей. MLflow предлагает для сравнения итераций обучения всевозможные визуализации, например точечные диаграммы, столбчатые диаграммы и гистограммы. Кроме того, MLflow позволяет оценивать предвзятость и справедливость моделей.

Оценка экспериментов машинного обучения

Централизованное управление моделями MLflow

Многие специалисты применяют MLflow для управления экспериментами, выделяя лишь некоторые модели в кандидаты на использование производственной среде. Организациям нужен простой способ отслеживать все модели-кандидаты, позволяющий принимать обоснованные решения о том, какие модели будут запущены в производство. MLflow удобно интегрируется с Реестром моделей SageMaker, что позволяет автоматически передавать модели, зарегистрированные в MLflow, в реестр моделей SageMaker вместе с картой модели SageMaker для управления. Такая интеграция позволяет специалистам по обработке данных и инженерам машинного обучения использовать разные инструменты для решения текущих задач: MLflow для экспериментов или реестр моделей SageMaker для управления жизненным циклом производства с полным отслеживанием линейки моделей.

Общий доступ к обновлениям и результатам

Развертывание моделей MLflow на адресах SageMaker

Развертывание моделей от MLflow на адресах SageMaker выполняется очень легко и устраняет необходимость создавать специализированные контейнеры для хранения моделей. Такая интеграция позволяет клиентам использовать оптимизированные контейнеры SageMaker для логических выводов, сохраняя все удобства интерфейса MLflow для ведения журналов и регистрации моделей.

Воспроизводимость и аудит экспериментов машинного обучения