Управление машинным обучением с помощью Amazon SageMaker
Упрощение контроля доступа и повышение прозрачности
Создавайте специализированные роли, которые позволят специалистам по машинному обучению (ML) быстрее начать работу с SageMaker.
Оптимизируйте документирование модели и обеспечьте видимость ключевых предположений, характеристик и артефактов с момента разработки до развертывания.
Быстро проводите аудит и устраняйте неполадки в работе всех моделей, конечных точек и заданий мониторинга моделей с помощью единого представления.
Отслеживайте отклонения от ожидаемого поведения модели, а также отсутствующие или неактивные задания мониторинга с помощью автоматических оповещений.
Amazon SageMaker предоставляет специально разработанные инструменты управления, которые помогут вам ответственно подойти к внедрению машинного обучения. С помощью Amazon SageMaker Role Manager администраторы могут определить минимальные разрешения за считаные минуты. Amazon SageMaker Model Cards упрощает сбор, получение важной информации о модели и обмен ею, например целевое использование, рейтинги риска и подробности обучения, от концепции до развертывания. Amazon SageMaker Model Dashboard позволяет получать информацию о поведении модели в производстве в одном месте.
Просмотрите это видео, чтобы узнать, как улучшить отображение ваших моделей машинного обучения с использованием SageMaker.
Как это работает
Управление машинным обучением с помощью Amazon SageMaker использует SageMaker Role Manager, SageMaker Model Cards и SageMaker Model Dashboard, чтобы помочь вам упростить контроль доступа и повысить прозрачность ваших проектов машинного обучения.
Amazon SageMaker содержит три основные функции управления машинным обучением: Amazon SageMaker Role Manager, Amazon SageMaker Model Cards и Amazon SageMaker Model Dashboard. Первый раздел диаграммы называется «Управление машинным обучением с помощью Amazon SageMaker». В описании сказано: «Упростите контроль доступа и повысьте прозрачность ваших проектов машинного обучения».
Во втором разделе показан процесс внедрения, в котором участвует SageMaker Role Manager. SageMaker Role Manager определяет минимальные разрешения за считаные минуты, упрощая настройку разрешений для задач машинного обучения и автоматически генерируя пользовательские политики IAM.
Третий раздел является частью жизненного цикла модели, который охватывает подготовку, построение, обучение, развертывание и мониторинг моделей. С помощью SageMaker Model Cards можно централизовать и стандартизировать документацию по модели, автоматически заполнять сведения о модели и экспортировать их в формат PDF. Благодаря SageMaker Model Dashboard вы можете контролировать производительность модели с помощью единого представления, получать доступ к информации о модели в одном месте и получать встроенные уведомления.
SageMaker Model Cards и SageMaker Model Dashboard интегрированы с Монитором модели Amazon SageMaker, который можно использовать для мониторинга моделей на предмет дрейфа, и Amazon SageMaker Clarify, который помогает обнаружить погрешность и объяснить поведение модели.
Основные возможности
Определите минимальные разрешения за несколько минут с помощью SageMaker Role Manager
Упрощение разрешений для работы с машинным обучением
SageMaker Role Manager предоставляет базовый набор разрешений для операций машинного обучения и персон с каталогом предварительно созданных политик управления идентификацией и доступом (IAM). Действия машинного обучения могут включать подготовку данных и обучение, а персоны могут включать инженеров машинного обучения и специалистов по анализу данных. Вы можете сохранить базовые разрешения или настроить их в соответствии с вашими конкретными потребностями.
Автоматизируйте создание политик IAM
С помощью нескольких подсказок вы сможете быстро ввести такие общие элементы управления, как границы доступа к сети и ключи шифрования. Затем SageMaker Role Manager автоматически создаст политику IAM. Вы можете обнаружить созданную роль и связанные с ней политики через консоль AWS IAM.
Прикрепите свои управляемые политики
Чтобы еще больше адаптировать разрешения к вашему сценарию использования, прикрепите управляемые политики IAM к роли IAM, которую вы создаете с помощью SageMaker Role Manager. Вы также можете добавить теги, которые помогут идентифицировать и упорядочить роли в сервисах AWS.
Оптимизируйте документирование моделей с помощью SageMaker Model Cards
Собирайте информацию о модели
SageMaker Model Cards – это хранилище информации о модели в консоли Amazon SageMaker, которое помогает централизовать и стандартизировать документацию модели, чтобы вы могли ответственно внедрять машинное обучение. Для ускорения процесса документирования можно автоматически заполнять такие детали обучения, как наборы входных данных, среды обучения и результаты обучения. Вы также можете добавить такие детали, как цель модели и цели производительности.
Визуализируйте результаты оценки
Вы можете прикрепить результаты оценки модели, такие как показатели погрешности и качества, к карточке модели и добавить визуализации, такие как графики, чтобы получить ключевые сведения о производительности модели.
Обменивайтесь карточками моделей
Вы можете экспортировать карточки моделей в формат PDF для более удобного обмена ими с заинтересованными сторонами, внутренними командами или клиентами.
Проводите единый мониторинг моделей с SageMaker Model Dashboard
Отслеживайте поведение модели
SageMaker Model Dashboard предоставляет полный обзор развернутых моделей и конечных точек, чтобы вы могли отслеживать ресурсы и нарушения поведения модели в одном месте. Вы можете контролировать поведение модели по четырем параметрам: качество данных, качество модели, дрейф погрешности и дрейф атрибуции характеристик. SageMaker Model Dashboard отслеживает поведение благодаря интеграции с Монитором модели Amazon SageMaker и Amazon SageMaker Clarify.
Показанный выше рейтинг риска приведен только в качестве иллюстрации и может изменяться в зависимости от входных данных, которые вы предоставите.
Автоматизируйте оповещения
SageMaker Model Dashboard обеспечивает интегрированную возможность настройки и получения предупреждений об отсутствующих и неактивных заданиях мониторинга модели и отклонениях в поведении модели.
Показанный выше рейтинг риска приведен только в качестве иллюстрации и может изменяться в зависимости от входных данных, которые вы предоставите.
Устраняйте отклонения в работе модели
Вы можете дополнительно проверить отдельные модели и проанализировать факторы, влияющие на производительность модели с течением времени. Затем вы можете проследить за тем, как специалисты по машинному обучению принимают корректирующие меры.
Клиенты
«В United Airlines мы используем машинное обучение (ML) для улучшения обслуживания клиентов путем предоставления персонализированных предложений, позволяя клиентам быть готовыми с помощью Travel Readiness Center. Мы также используем ML для операций в аэропортах, сетевого планирования, планирования полетов. Когда мы выходили из пандемии, Amazon SageMaker сыграл решающую роль в Центре готовности к путешествиям, позволив нам обрабатывать большие объемы сертификатов тестов на COVID, карт вакцин с помощью автоматизации модели на основе документов. Благодаря новым возможностям управления Amazon SageMaker мы получили больше контроля и видимости для наших моделей машинного обучения. SageMaker Role Manager значительно упрощает процесс настройки пользователей, предоставляя базовые разрешения и действия машинного обучения для каждой персоны, связанной с ролями IAM. С помощью SageMaker Model Cards наши команды могут активно собирать и передавать информацию о модели для проверки, а с помощью SageMaker Model Dashboard мы можем искать и просматривать модели, развернутые на MARS – нашей внутренней платформе машинного обучения. Благодаря всем этим новым возможностям управления мы экономим значительное количество времени и можем расширять масштабы».
Ашок Шринивас, директор по разработке и эксплуатации систем машинного обучения, United Airlines
«В Capitec у нас есть широкий круг специалистов по работе с данными, которые занимаются разработкой различных решений для машинного обучения. Наши инженеры по машинному обучению управляют централизованной платформой моделирования, построенной на базе Amazon SageMaker, которая позволяет разрабатывать и внедрять все эти решения. Без встроенных инструментов отслеживание усилий по моделированию имеет тенденцию к разрозненной документации и отсутствию видимости модели. С помощью SageMaker Model Cards мы можем отслеживать множество метаданных модели в единой среде, а SageMaker Model Dashboard позволяет нам видеть производительность каждой модели. Кроме того, SageMaker Role Manager упрощает процесс управления доступом для специалистов по обработке данных в различных линейках наших продуктов. Всё это способствует тому, что наша модель управления является достаточной для того, чтобы оправдать доверие, которое оказывают нам наши клиенты как поставщику финансовых услуг».
Дин Мэттер, инженер по машинному обучению, Capitec Bank
Ресурсы
Будьте в курсе последних событий об управлении машинным обучением с помощью SageMaker.
Просмотрите техническую документацию, чтобы узнать, как использовать возможности SageMaker для управления машинным обучением.
Ускоренная интеграция инструментов управления с рабочими нагрузками машинного обучения.
Подробнее о новых инструментах управления машинным обучением для SageMaker.
Сессия «Улучшение управления ML с помощью глубокого контроля и прозрачности в SageMaker» из AWS re:Invent 2022.
С помощью Amazon SageMaker Role Manager вы можете определить пользовательские разрешения за считанные минуты.