Amazon SageMaker

Технологии машинного обучения для любого разработчика и специалиста по работе с данными

Amazon SageMaker – это полностью управляемый сервис, который предоставляет каждому разработчику и специалисту по работе с данными возможность быстро создавать, обучать и развертывать модели машинного обучения (ML). SageMaker берет на себя большую часть работы на каждом этапе машинного обучения, чтобы упростить разработку высококачественных моделей.

Разработка в сфере ML традиционным способом – это сложный и дорогой итеративный процесс, который еще больше усложняется отсутствием интегрированных инструментов, охватывающих весь процесс машинного обучения. Приходится комбинировать инструменты и рабочие процессы, что отнимает много времени и не гарантирует отсутствия ошибок. SageMaker решает эту проблему, предоставляя все компоненты, необходимые для машинного обучения, в одном наборе инструментов, так что модели быстрее попадают в рабочую среду с гораздо меньшими усилиями и затратами.

Создание моделей машинного обучения

ТОЛЬКО В AMAZON SAGEMAKER

Повышайте производительность с помощью Amazon SageMaker Studio, первой полностью интегрированной среды разработки (IDE) для машинного обучения

Amazon SageMaker Studio предоставляет единый визуальный веб‑интерфейс, в котором можно проводить все этапы разработки ML. SageMaker Studio обеспечивает полный доступ, контроль и прозрачность каждого шага, необходимого для создания, обучения и развертывания моделей. Теперь можно быстро загружать данные, создавать новые блокноты, обучать и настраивать модели, перемещаться между любыми этапами, настраивать эксперименты, сравнивать результаты и развертывать модели для работы в одном месте, что благотворно сказывается на эффективности процесса. Все действия по ML‑разработке, включая создание блокнотов, управление экспериментами, автоматизированное создание моделей, отладку и профилирование, а также обнаружение отклонений в моделях, можно выполнять в едином визуальном интерфейсе SageMaker Studio.

SageMaker Studio
Sagemaker Studio

Используйте IDE для ML‑разработки. К примеру, можно вносить изменения в модели в блокноте и наблюдать, как эти изменения влияют на качество модели, благодаря параллельному отображению данных в блокноте и экспериментов по обучению модели.

Используйте IDE для ML‑разработки. К примеру, можно вносить изменения в модели в блокноте и наблюдать, как эти изменения влияют на качество модели, благодаря параллельному отображению данных в блокноте и экспериментов по обучению модели.

 Нажмите для увеличения

ТОЛЬКО В AMAZON SAGEMAKER

Создавайте модели и ускоряйте совместную работу с помощью Amazon SageMaker Notebooks

Управлять вычислительными инстансами для просмотра, запуска или совместного использования блокнотов довольно утомительно. Сервис Amazon SageMaker Notebooks, доступный в режиме ознакомления, предоставляет готовые блокноты Jupyter, с которыми можно приступить к работе за считаные секунды. Лежащие в основе сервиса вычислительные ресурсы полностью эластичны, что позволяет просто увеличивать или уменьшать их объем, причем любые изменения происходят автоматически в фоновом режиме и не прерывают работу. SageMaker также позволяет открывать блокноты для совместной работы за один щелчок мышью. Все зависимости кода автоматически фиксируются, и это упрощает сотрудничество между разработчиками. Они получают для работы одинаковые блокноты, сохраненные в одном месте.

Можно выбрать из десятков готовых блокнотов SageMaker, подготовленных для различных примеров использования. Кроме того, существуют сотни готовых алгоритмов и предварительно обученных моделей, доступных на AWS Marketplace, и это позволяет приступить к работе быстро и просто.

Блокноты
Блокноты

Создайте общую ссылку без ручного отслеживания зависимостей, чтобы воспроизвести код из блокнота.

Создайте общую ссылку без ручного отслеживания зависимостей, чтобы воспроизвести код из блокнота.

 Нажмите для увеличения

ТОЛЬКО В AMAZON SAGEMAKER

Автоматически создавайте, обучайте и настраивайте модели с сохранением полной прозрачности и контроля над процессом, используя Amazon SageMaker Autopilot

Amazon SageMaker Autopilot – это первый в отрасли сервис автоматического машинного обучения, который предоставляет полный контроль над ML‑моделями и обеспечивает прозрачность всех процессов. Типичные подходы к автоматизированному машинному обучению не обеспечивают понимания данных, использованных при создании модели, или логики, которая при этом использовалась. В результате, даже если модель по своим возможностям получилась посредственной, способа ее улучшить у разработчика нет. Более того, нет возможности пойти на компромисс (например, пожертвовать некоторой точностью для создания прогнозов с более низкой задержкой), поскольку типичные автоматизированные решения в сфере ML предоставляют на выбор только одну модель.

SageMaker Autopilot автоматически проверяет необработанные данные, применяет обработчики возможностей, выбирает лучший набор алгоритмов, обучает и настраивает множество моделей, отслеживает их производительность, а затем ранжирует модели на основе их производительности – и все это за несколько щелчков мышью. В результате создается готовая для развертывания модель с наилучшими характеристиками, причем во много раз быстрее, чем обычно происходит обучение модели. При этом пользователю обеспечивается полное представление о том, как была создана модель и что в ней есть. Сервис SageMaker Autopilot интегрирован с Amazon SageMaker Studio. Благодаря этому можно изучить до 50 различных моделей, созданных SageMaker Autopilot, в SageMaker Studio, и без труда выбрать оптимальную модель для своего примера использования. SageMaker Autopilot могут использовать как люди, не имеющие опыта машинного обучения, для простого создания моделей, так и опытные разработчики – для быстрой разработки базовой модели, которую можно использовать в команде для дальнейших итераций.

Подробнее »

Autopilot
Autopilot

Автоматически создавайте модели машинного обучения и выбирайте из них ту, которая оптимально подходит для конкретного примера использования. Например, просмотрите лидирующие варианты, чтобы увидеть, как проявляет себя каждый параметр, и выберите модель, которая соответствует требованиям к точности и задержке.

Автоматически создавайте модели машинного обучения и выбирайте из них ту, которая оптимально подходит для конкретного примера использования. Например, просмотрите лидирующие варианты, чтобы увидеть, как проявляет себя каждый параметр, и выберите модель, которая соответствует требованиям к точности и задержке.

 Нажмите для увеличения

ТОЛЬКО В AMAZON SAGEMAKER

С помощью Amazon SageMaker Ground Truth можно сократить расходы на маркировку данных на 70 %

Успешные модели машинного обучения строятся на базе больших объемов высококачественных обучающих данных. Но процесс создания обучающих данных, необходимых для построения этих моделей, зачастую дорог, сложен и отнимает много времени. Amazon SageMaker Ground Truth помогает быстро создавать в высшей степени точные обучающие наборы данных и управлять ими. Ground Truth организует удобный доступ к специалистам по маркировке данных через платформу Amazon Mechanical Turk и предоставляет им готовые рабочие процессы и интерфейсы для типовых задач маркировки. Можно также использовать своих собственных специалистов по маркировке данных или прибегнуть к услугам поставщиков, рекомендованных Amazon, через AWS Marketplace. Кроме того, Ground Truth постоянно учится на сделанных человеком маркировках, чтобы создавать высококачественные автоматические аннотации, которые значительно снижают затраты на маркировку данных.

Подробнее »

70 %

ЭКОНОМИЯ НА МАРКИРОВКЕ ДАННЫХ

Amazon SageMaker поддерживает ведущие платформы глубокого обучения

В число поддерживаемых платформ входят TensorFlow, PyTorch, Apache MXNet, Chainer, Keras, Gluon, Horovod, Scikit‑learn и Deep Graph Library. 

Amazon-SageMaker_Framework-Logos_F2f3f3

Обучение ML‑моделей

ТОЛЬКО В AMAZON SAGEMAKER

Организация, отслеживание и оценка тренировочных запусков с помощью Amazon SageMaker Experiments

Сервис Amazon SageMaker Experiments помогает организовывать и отслеживать итерации обучения ML‑моделей. Обучение ML‑модели обычно включает в себя множество итераций, чтобы выделить и измерить влияние различных изменений наборов данных, версий алгоритма и параметров модели. Во время этих итераций генерируются сотни артефактов в таких элементах системы, как модели, данные обучения, конфигурации платформы, настройки параметров и метрики обучения. Зачастую для отслеживания этих экспериментов используются чрезвычайно громоздкие инструменты, вроде электронных таблиц.

Сервис Amazon SageMaker Experiments помогает управлять итерациями, автоматически фиксируя входные параметры, конфигурации и результаты и сохраняя их как эксперименты. Работать при этом можно в визуальном интерфейсе SageMaker Studio, который дает возможность просматривать текущие эксперименты, искать предыдущие эксперименты по характеристикам, просматривать предыдущие эксперименты вместе с результатами и визуально сравнивать полученные результаты между собой.

Эксперименты
Эксперименты

Отслеживайте тысячи тренировочных экспериментов, чтобы определить точность вашей модели. Например, изучайте на диаграмме, как различные наборы данных типа временных рядов влияют на точность модели.

Отслеживайте тысячи тренировочных экспериментов, чтобы определить точность вашей модели. Например, изучайте на диаграмме, как различные наборы данных типа временных рядов влияют на точность модели.

 Нажмите для увеличения

ТОЛЬКО В AMAZON SAGEMAKER

Анализ, отладка и исправление проблем машинного обучения с помощью Amazon SageMaker Debugger

Процесс обучения ML в значительной степени непрозрачен, и время, необходимое для обучения модели, может быть продолжительным и плохо поддаваться оптимизации. Из‑за этого в результате бывает сложно интерпретировать и объяснять полученные модели. Отладчик Amazon SageMaker Debugger делает процесс обучения более прозрачным за счет автоматического сбора в процессе обучения в режиме реального времени таких метрик, как обучение и проверка, матрицы путаницы и градиенты обучения, что в итоге помогает повысить точность модели.

Метрики от SageMaker Debugger можно визуализировать в SageMaker Studio для удобства понимания. SageMaker Debugger также может генерировать предупреждения и рекомендации по исправлению обнаруженных типовых проблем с обучением. С помощью SageMaker Debugger можно интерпретировать работу модели, а это первый шаг к возможности объяснить ее принципы.

Debugger
Debugger

Анализируйте и устраняйте аномалии. Например, обучение нейронной сети прекратится, если будут найдены исчезающие градиенты. SageMaker Debugger определяет исчезающие градиенты, чтобы можно было исправить их до того, как это повлияет на обучение.

Анализируйте и устраняйте аномалии. Например, обучение нейронной сети прекратится, если будут найдены исчезающие градиенты. SageMaker Debugger определяет исчезающие градиенты, чтобы можно было исправить их до того, как это повлияет на обучение.

 Нажмите для увеличения

AWS – лучшая среда для запуска TensorFlow

Оптимизации AWS TensorFlow обеспечивают эффективное, практически линейное масштабирование на сотнях графических процессоров, что дает возможность работать в облачных масштабах без значительной нагрузки на вычислительные ресурсы. Все это позволяет обучать более точные и более сложные модели в гораздо более сжатые сроки.

90 %

ЭФФЕКТИВНОСТЬ МАСШТАБИРОВАНИЯ С 256 ГРАФИЧЕСКИМИ ПРОЦЕССОРАМИ

Снижение стоимости обучения на 90 %

Amazon SageMaker предоставляет управляемое спотовое обучение, которое помогает сократить расходы на обучение до 90 %. Эта возможность использует спотовые инстансы Amazon EC2, которые утилизируют незадействованные вычислительные мощности AWS. Учебные задания автоматически запускаются, когда вычислительная мощность становится доступной, и получают защиту от перебоев, вызванных изменениями в объеме доступных ресурсов. Это позволяет снижать затраты, поскольку дает возможность выбирать, когда выполнять учебные задания.

90 %

СОКРАЩЕНИЕ РАСХОДОВ БЛАГОДАРЯ УПРАВЛЯЕМОМУ СПОТОВОМУ ОБУЧЕНИЮ

Развертывание моделей машинного обучения

Развертывание одним щелчком

Amazon SageMaker упрощает развертывание обученной модели в работу (это можно сделать за один щелчок мышью), поэтому можно сразу начать генерировать прогнозы на основе пакетных данных или данных, поступающих в режиме реального времени. Выполнить развертывание модели на автомасштабируемых инстансах Amazon SageMaker для машинного обучения в нескольких зонах доступности, обеспечив высокую избыточность, можно за один щелчок мышью. Достаточно лишь указать тип инстансов, а также их максимальное и минимальное количество – об остальном позаботится Amazon SageMaker. Сервис запустит инстансы, выполнит развертывание модели и настроит защищенный HTTPS‑адрес для приложения вывода. Вам потребуется только включить в приложение вызов API к этому адресу, чтобы начать получать прогнозы с минимальной задержкой и высокой пропускной способностью. Данная архитектура позволяет за считаные минуты интегрировать в приложение новые модели, ведь при изменении модели вносить изменения в код приложения не потребуется.

ТОЛЬКО В AMAZON SAGEMAKER

Сохраняйте точность моделей в течение длительного времени с помощью Amazon SageMaker Model Monitor

Amazon SageMaker Model Monitor позволяет разработчикам обнаруживать и устранять концептуальное отклонение. На сегодняшний день один из важных факторов, который может повлиять на точность моделей после развертывания, заключается в том, отличаются ли данные, используемые для создания прогнозов, от данных, которые использовались для обучения модели. Например, изменение экономических условий может привести к появлению новых процентных ставок, влияющих на прогнозы покупки жилья. Это называется концептуальным отклонением, при котором шаблоны, используемые моделью для прогнозирования, становятся неприменимыми. SageMaker Model Monitor автоматически обнаруживает концептуальные отклонения в развернутых моделях и выдает подробные оповещения, которые помогают определить источник проблемы. Все модели, прошедшие обучение в SageMaker, автоматически генерируют основные метрики, которые можно собирать и просматривать в SageMaker Studio. Внутри SageMaker Studio можно настроить собираемые данные, способы их просмотра и ситуации, которые будут генерировать отправку оповещений.

Model Monitor
Model Monitor

Мониторинг работающих моделей. К примеру, можно просматривать диаграммы с важными свойствами модели и сводной статистикой, наблюдать за ними в течение некоторого времени и сравнивать со свойствами, которые использовались при обучении. Некоторые свойства отклоняются при запуске модели в рабочей среде, что может указывать на необходимость повторного обучения модели.

Мониторинг работающих моделей. К примеру, можно просматривать диаграммы с важными свойствами модели и сводной статистикой, наблюдать за ними в течение некоторого времени и сравнивать со свойствами, которые использовались при обучении. Некоторые свойства отклоняются при запуске модели в рабочей среде, что может указывать на необходимость повторного обучения модели.

 Нажмите для увеличения

ТОЛЬКО В AMAZON SAGEMAKER

Подтверждение прогнозов с помощью анализа человеком

Многие приложения с машинным обучением требуют человеческого участия для проверки прогнозов с низкой достоверностью верны, чтобы убедиться, что они верны. Но встраивание такой проверки в рабочий процесс может быть трудоемким и дорогостоящим, а также затрагивать другие сложные процессы. Amazon Augmented AI – это сервис, который позволяет просто создавать рабочие процессы для проверки человеком прогнозов, полученных с помощью машинного обучения. Augmented AI предоставляет встроенные рабочие процессы анализа человеком для распространенных примеров использования машинного обучения. Можно также создавать свои собственные рабочие процессы для моделей машинного обучения, разработанных с помощью Amazon SageMaker. С помощью Augmented AI можно позволить людям‑рецензентам вмешиваться, когда модель не может делать прогнозы с высокой степенью достоверности.

Подробнее »

Снижение затрат на прогнозирование с применением машинного обучения на 75 % с помощью Amazon Elastic Inference

В большинстве приложений для глубокого обучения прогнозирование с использованием обученной модели – процесс, называемый логическим выводом – может быть основным фактором в расходах на вычислительные ресурсы. Полноценный инстанс на базе графического процессора может располагать слишком большой вычислительной мощностью для организации логического вывода модели. Кроме того, бывает сложно оптимизировать требования конкретного приложения глубокого обучения к графическому процессору, ЦП и памяти. Amazon Elastic Inference решает эти проблемы, позволяя добавлять нужный объем ускорения вывода на основе графического процессора к любому типу инстанса Amazon EC2, Amazon SageMaker или задаче Amazon ECS без изменения кода. С Elastic Inference можно выбрать тип инстанса, который оптимально подходит обобщенным требованиям приложения к ЦП и памяти, а затем отдельно настроить величину ускорения вывода, которое необходимо для эффективного использования ресурсов и снижения затрат на выполнение вывода.

75 %

СНИЖЕНИЕ РАСХОДОВ НА ЛОГИЧЕСКИЕ ВЫВОДЫ

Интеграция с Kubernetes для нужд оркестрации и управления

Kubernetes – это система с открытым исходным кодом для автоматизации развертывания, масштабирования и контроля контейнерных приложений. Многие клиенты хотят использовать полностью управляемые возможности Amazon SageMaker для машинного обучения, но также стремятся, чтобы группы разработчиков платформы и инфраструктуры продолжали использовать Kubernetes для оркестрации и управления конвейерами. SageMaker дает пользователям возможность обучать и развертывать модели в SageMaker с использованием операторов и конвейеров Kubernetes. Пользователи Kubernetes могут получить доступ ко всем возможностям SageMaker непосредственно из Kubeflow.

Начать работу с Amazon SageMaker

Начните разработку с помощью Amazon Sagemaker в Консоли управления AWS.