Amazon SageMaker для MLOps

Быстрая и масштабируемая реализация высокоэффективных моделей машинного обучения

Преимущества MLOps в Amazon SageMaker

Amazon SageMaker предоставляет специализированные инструменты для операций машинного обучения (MLOps), которые помогают автоматизировать и стандартизировать процессы на протяжении всего цикла машинного обучения. Используя инструменты MLOps в SageMaker, вы можете легко обучать, тестировать, устранять неполадки, развертывать модели машинного обучения и управлять ими в любом масштабе, чтобы повысить производительность специалистов по обработке данных и инженеров машинного обучения при сохранении производительности моделей в производственной среде.

Как это работает

Как работает сервис

Преимущества SageMaker MLOps

Ускорьте разработку моделей

Предоставление стандартизированных сред анализа данных

Стандартизация сред разработки машинного обучения повышает производительность специалистов по обработке данных и, в конечном итоге, темпы инноваций, упрощая запуск новых проектов, ротацию специалистов по обработке данных между проектами и внедрение передовых практик машинного обучения. В Проектах Amazon SageMaker предлагаются шаблоны для быстрого предоставления стандартизированным средам специалистов по обработке данных проверенных и современных инструментов и библиотек, репозиториев системы управления исходным кодом, шаблонного кода и конвейеров CI/CD.

Прочтите руководство для разработчиков по автоматизации MLOps с помощью проектов SageMaker

SageMaker MLOps – предоставление стандартизированных сред машинного обучения

Совместная работа в MLflow для экспериментов машинного обучения

Построение моделей машинного обучения представляет собой итеративный процесс, включающий обучение сотен моделей для поиска оптимальных алгоритмов, архитектур и параметров, обеспечивающих максимальную точность модели. MLflow позволяет отслеживать входные и выходные данные итераций в процессе обучения, что улучшает повторяемость и способствует совместной работе между специалистами по обработке и анализу данных. Благодаря полностью управляемым возможностям MLflow вы можете создавать отдельные серверы отслеживания MLflow для каждого отдела, что способствует эффективному сотрудничеству при выполнении экспериментов машинного обучения.

Amazon SageMaker с MLflow управляет всеми этапами жизненного цикла машинного обучения, упрощая эффективное обучение моделей, отслеживание экспериментов и улучшая воспроизводимость в разных фреймворках и средах. Вам предоставляется единый интерфейс, в котором можно визуализировать выполняемые задания обучения, предоставлять эксперименты коллегам в общий доступ и развертывать модели прямо из экспериментов.

Эффективное управление экспериментами машинного обучения с помощью MLflow

SageMaker Experiments

Автоматизируйте рабочие процессы настройки модели генеративного ИИ

С помощью Конвейеров Amazon SageMaker можно автоматизировать обучение моделей, настройку, оценку эффективности работы, развертывание и обработку данных в комплексном рабочем процессе машинного обучения. Создайте собственную модель или настройте базовую модель в SageMaker Jumpstart всего за несколько действий в визуальном редакторе Pipelines. Можно настроить автоматический запуск Конвейеров SageMaker через регулярные промежутки времени или при возникновении определенных событий (например, при появлении новых данных для обучения в S3).

Подробнее о Конвейерах Amazon SageMaker

SageMaker Pipelines

С легкостью развертывайте модели и управляйте ими в производстве

Быстро воспроизводите свои модели для устранения неполадок

Часто требуется воспроизвести модели в рабочей среде, чтобы устранить неполадки в их поведении и определить первопричину. Чтобы помочь вам в этом, Amazon SageMaker регистрирует каждый этап рабочего процесса, создавая журнал аудита артефактов модели, таких как обучающие данные, настройки конфигурации, параметры модели и обучающие градиенты. Используя отслеживание рабочих процессов, вы можете воссоздать модели для устранения потенциальных проблем.

Узнайте больше об отслеживании рабочих процессов машинного обучения Amazon SageMaker

Отслеживание рабочих процессов SageMaker

Централизованное отслеживание версий моделей и управление ими

Создание приложения машинного обучения включает разработку моделей, конвейеров данных, конвейеров обучения и проверочных тестов. Используя Реестр моделей Amazon SageMaker, вы можете отслеживать версии моделей, их метаданные, такие как группировка сценариев использования, и базовые показатели производительности модели в центральном репозитории, где легко выбрать подходящую модель для развертывания в соответствии с требованиями вашего бизнеса. Кроме того, Реестр моделей SageMaker автоматически регистрирует рабочие процессы утверждения для аудита и соответствия требованиям.

Подробнее о регистрации и развертывании моделей с помощью реестра моделей

Реестр моделей SageMaker

Определение инфраструктуры машинного обучения с помощью кода

Оркестрация инфраструктуры с помощью декларативных файлов конфигурации, обычно называемых «инфраструктура как код», является популярным подходом к выделению инфраструктуры машинного обучения и внедрению архитектуры решения в точном соответствии с требованиями конвейеров CI/CD или инструментов развертывания. Используя Проекты Amazon SageMaker, вы можете писать инфраструктуру как код, используя готовые файлы шаблонов.

Узнайте больше об автоматизации MLOps с помощью Проектов SageMaker

Автоматизация рабочих процессов интеграции и развертывания (CI/CD)

Рабочие процессы разработки машинного обучения должны интегрироваться с рабочими процессами интеграции и развертывания, чтобы быстро создавать новые модели для производственных приложений. Проекты Amazon SageMaker привносят в машинное обучение методы CI/CD, такие как поддержание паритета между средой разработки и производственной средой, контроль исходного кода и версий, A/B-тестирование и комплексная автоматизация. В результате вы запускаете модель в производство сразу после ее утверждения и повышаете гибкость. 

Кроме того, Amazon SageMaker предлагает встроенные средства защиты, помогающие поддерживать доступность адресов и минимизировать риск развертывания. SageMaker заботится о настройке и организации передовых практик развертывания, таких как развертывание без перерыва в обслуживании, для обеспечения максимальной доступности и интегрирует их с механизмами обновления конечных точек, такими как механизмы автоматического отката. Благодаря этому вы можете автоматически выявлять проблемы на ранних стадиях и принимать меры по их устранению до того, как они существенно повлияют на производство.

Создавайте комплексные решения машинного обучения с CI/CD с помощью Проектов SageMaker

CI/CD в Amazon SageMaker для машинного обучения

Постоянно переучивайте модели для поддержания качества прогнозов

Как только модель запущена в производство, необходимо отслеживать ее производительность, настраивая оповещения, чтобы дежурный специалист по обработке данных мог устранить проблему и инициировать переподготовку. Монитор модели Amazon SageMaker помогает поддерживать качество, обнаруживая смещение моделей и концепций в реальном времени и отправляя вам оповещения, чтобы вы могли немедленно принять меры. Монитор модели SageMaker постоянно отслеживает такие характеристики производительности модели, как точность, измеряя количество правильных прогнозов по сравнению с общим их количеством, что позволяет устранять аномалии. Монитор модели SageMaker интегрирован с SageMaker Clarify для улучшения видимости потенциальных ошибок.

Подробнее 

SageMaker Model Monitor

Оптимизируйте развертывание модели с точки зрения производительности и стоимости

Amazon SageMaker позволяет легко развертывать модели машинного обучения для выводов с высокой производительностью и низкими затратами в любом случае использования. Данный сервис предоставляет широкий выбор инфраструктуры машинного обучения и вариантов развертывания моделей для удовлетворения всех ваших потребностей в выводах машинного обучения.

Подробнее

Хостинг моделей SageMaker