Общие вопросы

Вопрос. Что такое Amazon SageMaker?

Amazon SageMaker – это полностью управляемый сервис, который предоставляет каждому разработчику и специалисту по работе с данными возможность быстро создавать, обучать и развертывать модели машинного обучения (ML). SageMaker берет на себя большую часть работы на каждом этапе машинного обучения, чтобы упростить разработку высококачественных моделей.

Вопрос. В каких регионах доступен Amazon SageMaker?

Список регионов AWS с поддержкой сервиса Amazon SageMaker см. в таблице регионов AWS для всей глобальной инфраструктуры AWS. См. также раздел «Регионы и адреса серверов» в общих справочных материалах по AWS.

Вопрос. Какова доступность сервиса Amazon SageMaker?

Amazon SageMaker разработан для обеспечения высокой доступности. Сервис работает без плановых простоев и перерывов на обслуживание. API SageMaker работают на базе надежных ЦОД Amazon с высокой степенью доступности, стек сервиса реплицируется в трех ЦОД в каждом регионе AWS, что обеспечивает отказоустойчивость в случае выхода из строя отдельного сервера или аварийного отключения зоны доступности.

Вопрос. Какие меры обеспечения безопасности использует сервис Amazon SageMaker?

Amazon SageMaker обеспечивает шифрование моделей машинного обучения и других системных артефактов как при хранении, так и при пересылке. Запросы к API и консоли сервиса SageMaker выполняются через безопасное SSL-соединение. Права доступа к ресурсам для обучения и развертывания от имени клиента предоставляются сервису SageMaker путем передачи ему соответствующих ролей AWS Identity and Access Management. Можно использовать зашифрованные корзины S3 для артефактов моделей и данных либо передать ключ KMS в блокноты SageMaker, заданий по обучению и адреса сервиса с целью шифрования подключенного тома хранилища для машинного обучения.

Вопрос. Как обеспечивается безопасность кода в Amazon SageMaker?

Amazon SageMaker хранит код в томах хранилища для машинного обучения, которые защищены группами безопасности и могут быть дополнительно зашифрованы при хранении.

Вопрос. Как начисляется плата за использование Amazon SageMaker?

Плата начисляется за вычислительные ресурсы, хранилище и ресурсы для обработки данных, которые используются для размещения блокнотов, обучения моделей, расчета прогнозов и ведения журнала выходных данных. Amazon SageMaker позволяет выбрать число и тип инстансов, которые будут использованы для размещения блокнотов, обучения и хостинга моделей. Вы платите только за то, что используете. Минимальные платежи и авансовые обязательства отсутствуют. Подробнее см. на странице цен на Amazon SageMaker.

Вопрос. Могу ли я использовать свой блокнот, среду обучения или хостинга?

Amazon SageMaker полностью обеспечивает все этапы рабочего процесса, однако это не мешает использовать существующие инструменты вместе с SageMaker. В зависимости от конкретных практических потребностей можно легко импортировать результаты в SageMaker либо экспортировать их из сервиса на любом этапе рабочего процесса.

Вопрос. поддерживается ли R в Amazon SageMaker?

Да, R поддерживается в Amazon SageMaker. Вы можете использовать R в инстансах блокнотов SageMaker, в которые входит предварительно установленное ядро R и библиотека reticulate. Библиотека reticulate реализует интерфейс R для Amazon SageMaker Python SDK, благодаря чему изучающие машинное обучение специалисты могут создавать, обучать, настраивать и развертывать модели на базе языка R. 

Вопрос. Что такое Amazon SageMaker Studio?

Amazon SageMaker Studio предоставляет единый визуальный веб‑интерфейс, в котором можно проводить все этапы разработки ML. SageMaker Studio обеспечивает полный доступ, контроль и прозрачность каждого шага, необходимого для создания, обучения и развертывания моделей. Теперь можно быстро загружать данные, создавать новые блокноты, обучать и настраивать модели, перемещаться между любыми этапами, настраивать эксперименты, сравнивать результаты и развертывать модели для работы в одном месте, что благотворно сказывается на эффективности процесса. Все действия по ML‑разработке, включая создание блокнотов, управление экспериментами, автоматизированное создание моделей, отладку и профилирование, а также обнаружение отклонений в моделях, можно выполнять в едином визуальном интерфейсе SageMaker Studio.

Вопрос: Как рассчитываются цены за использование Amazon SageMaker Studio?

Дополнительная плата за использование Amazon SageMaker Studio не начисляется.

Вопрос: Что такое Amazon SageMaker Autopilot?

Amazon SageMaker Autopilot – это первый в отрасли сервис автоматического машинного обучения, который предоставляет полный контроль над ML‑моделями и обеспечивает прозрачность всех процессов. SageMaker Autopilot автоматически проверяет необработанные данные, применяет обработчики возможностей, выбирает лучший набор алгоритмов, обучает и настраивает множество моделей, отслеживает их производительность, а затем ранжирует модели на основе их производительности – и все это за несколько щелчков мышью. В результате создается готовая для развертывания модель с наилучшими характеристиками, причем во много раз быстрее, чем обычно происходит обучение модели. При этом пользователю обеспечивается полное представление о том, как была создана модель и что в ней есть. Сервис SageMaker Autopilot интегрирован с Amazon SageMaker Studio. Благодаря этому можно изучить до 50 различных моделей, созданных SageMaker Autopilot, в SageMaker Studio, и без труда выбрать оптимальную модель для своего примера использования. SageMaker Autopilot могут использовать как люди, не имеющие опыта машинного обучения, для простого создания моделей, так и опытные разработчики – для быстрой разработки базовой модели, которую можно использовать в команде для дальнейших итераций.

Вопрос. Чем Amazon SageMaker Autopilot отличается от вертикальных сервисов искусственного интеллекта, таких как Amazon Personalize и Amazon Forecast?

Amazon Personalize и Amazon Forecast предназначены специально для сценариев персонализированных рекомендаций и прогнозов, тогда как Amazon SageMaker Autopilot является универсальным решением для задач классификации и регрессии на основе автоматического машинного обучения, таких как обнаружение мошенничества, анализ оттока клиентов и целевой маркетинг. Сервисы Personalize и Forecast нацелены на упрощение всего процесса работы, предоставляя комплексное решение для обучения и размещения моделей. С помощью Amazon SageMaker Autopilot вы можете обучить модели и получить полный доступ к ним, а также к использованным для их создания конвейерам. После этого готовые модели можно разместить в любом удобном для вас сервисе или подвергнуть дополнительной обработке для повышения качества.

Вопрос. Какие встроенные алгоритмы поддерживает Amazon SageMaker Autopilot?

При запуске Amazon SageMaker Autopilot поддерживает два встроенных алгоритма: XGBoost и Linear Learner.

Вопрос. Поддерживает ли Amazon SageMaker Autopilot распределенное обучение?

Да. Все встроенные алгоритмы Amazon SageMaker Autopilot поддерживают распределенное обучение в стандартной конфигурации.

Вопрос. Можно ли вручную остановить задание Amazon SageMaker Autopilot?

Да. Вы можете остановить работу в любое время. При остановке задания Amazon SageMaker Autopilot прекращаются все текущие исследования, а новые не запускаются.

Создание моделей

Вопрос. Что такое блокноты Amazon SageMaker Studio Notebooks?

Блокнот Amazon SageMaker Studio – это новый гибкий и управляемый блокнот Jupyter для совместной работы, входящий в Amazon SageMaker Studio, полностью интегрированную среду разработки для машинного обучения.

Вопрос. Чем блокноты SageMaker Studio отличаются от блокнотов на базе инстансов?

Блокноты SageMaker Studio отличаются от блокнотов на базе инстансов несколькими важными возможностями. Теперь можно быстро запускать блокноты, поскольку не нужно тратить время на инициализацию инстанса вручную и ждать, пока он будет готов. Для запуска пользовательского интерфейса для чтения и выполнения кода в блокноте требуется меньше времени, чем при работе с блокнотами на базе инстансов.

Кроме того, в пользовательском интерфейсе можно в любой момент свободно выбирать типы инстансов из большой коллекции. Вам больше не нужно открывать консоль AWS для запуска новых инстансов и переноса блокнотов.

У каждого пользователя есть изолированный домашний каталог, независимый от определенного инстанса. Этот каталог автоматически подключается ко всем серверам и ядрам блокнотов по мере их запуска, поэтому у пользователей сохраняется доступ к блокнотам и другим файлам даже при переключении между инстансами для просмотра и запуска блокнотов.

Блокноты SageMaker Studio интегрированы в систему AWS SSO, поэтому для доступа к ним можно использовать корпоративные данные. В блокнотах SageMaker Studio предусмотрена возможность их совместного использования. Достаточно одного щелчка, чтобы начать использовать блокноты вместе с коллегами.

Вопрос. Какие типы блокнотов поддерживаются?

В данный момент поддерживаются блокноты Jupyter.

Вопрос. Как работают блокноты Amazon SageMaker Studio?

Блокноты Amazon SageMaker Studio – это готовые блокноты Jupyter, которые можно быстро развернуть. Лежащие в основе сервиса вычислительные ресурсы полностью эластичны, что позволяет просто увеличивать или уменьшать их объем, причем любые изменения происходят автоматически в фоновом режиме и не прерывают работу. SageMaker также позволяет делиться блокнотами одним щелчком мыши. Вы можете легко делиться блокнотами с другими – они получат точно такой же блокнот, сохраненный в том же месте.

В блокнотах SageMaker Studio вы можете выполнить вход с помощью корпоративных данных для доступа, используя систему AWS SSO. Совместное использование блокнотов в пределах одной команды и между несколькими командами очень легко организовать благодаря автоматическому отслеживанию всех зависимостей для выполнения блокнота по всем рабочим образам, которые инкапсулируются в блокноты при предоставлении совместного доступа.

Вопрос. Как блокноты Amazon SageMaker Studio взаимодействуют с другими сервисами AWS?

Блокноты Amazon SageMaker Studio предоставляют доступ ко всем функциям SageMaker, включая распределенное обучение, пакетное преобразование, размещение и управление экспериментами. Для получения наборов данных можно обращаться из блокнотов SageMaker к таким сервисам, как Amazon S3, Amazon Redshift, AWS Glue, Amazon EMR и AWS Lake Formation.

Вопрос: Как происходит расчет платы за использование блокнотов SageMaker Studio?

При использовании блокнотов SageMaker Studio плата взимается как за вычислительные ресурсы, так и за хранение данных. Сведения о тарифах в зависимости от типа вычислительного инстанса см. на странице цен на Amazon SageMaker. Ваши блокноты и связанные с ними артефакты, такие как файлы данных и скрипты, сохраняются в Amazon EFS. Сведения о тарифах на хранение данных см. на странице цен на Amazon EFS. В рамках уровня бесплатного пользования AWS работу с блокнотами Amazon SageMaker Studio можно начать бесплатно.

Вопрос: Нужно ли платить отдельно за каждый блокнот, созданный и запущенный в SageMaker Studio?

Нет. Вы можете создать и запустить несколько блокнотов на одном вычислительном инстансе. Вы платите только за используемые вычислительные ресурсы, а не за отдельные элементы. Более подробные сведения см. в нашем руководстве по учету.

Помимо блокнотов, вы также можете запускать терминалы и интерактивные оболочки Studio – и все это на одном вычислительном инстансе. Каждое приложение работает внутри контейнера или образа. SageMaker Studio предоставляет несколько встроенных образов, специально созданных и настроенных для задач аналитики данных и машинного обучения. Более подробные сведения о среде разработки Studio см. в нашем руководстве по использованию блокнотов SageMaker Studio.

Вопрос: Как отслеживать и отключать ресурсы, которые используются моими блокнотами?

Вы можете отслеживать и отключать ресурсы, используемые вашими блокнотами SageMaker Studio, через визуальный интерфейс SageMaker Studio и консоль управления AWS. Подробнее см. в документации.

Вопрос: Я использую блокнот SageMaker Studio. Будет ли с меня взиматься плата, если я закрою браузер, закрою вкладку блокнота или просто оставлю браузер открытым?

Да, с вас по-прежнему будет взиматься плата за использование вычислительных ресурсов. Эта ситуация схожа с запуском инстансов EC2 в консоли управления AWS с последующим закрытием браузера. Инстансы EC2 все еще будут работать, и с вас по-прежнему будет взиматься плата, пока вы явным образом не отключите инстанс.

Вопрос: Взимается ли плата за создание и настройку домена Studio?

Нет, плата за создание или настройку домена Studio, а также добавление, обновление и удаление профилей пользователей не взимается.

Вопрос: Как просмотреть подробные сведения о расходах на блокноты Studio или другие сервисы SageMaker?

Будучи администратором, вы можете просмотреть список детализированных платежей за SageMaker, включая Studio, в консоли выставления счетов AWS. В консоли управления AWS для SageMaker выберите Сервисы в верхнем меню, введите Оплата в поле поиска и выберите «Оплата» в раскрывающемся списке, затем выберите Счета на левой панели. В разделе «Подробности» вы можете щелкнуть SageMaker, чтобы развернуть список регионов и перейти к детализированным расходам.

Вопрос: Что такое Amazon SageMaker Ground Truth?

Amazon SageMaker Ground Truth предоставляет функцию автоматизированного назначения меток с использованием машинного обучения. SageMaker Ground Truth первым делом отбирает случайный срез данных и отправляет его в Amazon Mechanical Turk для назначения меток. Затем эти результаты применяются для обучения модели маркировки, которая пытается автоматически присвоить метки следующему срезу необработанных данных. Присвоенные моделью метки подтверждаются, когда оценка уверенности для них достигает или превышает заданное вами пороговое значение. В тех случаях, для которых оценка уверенности не достигает порогового значения, данные отправляются специалистам по маркировке. Часть этих данных, промаркированных людьми, используется для формирования нового обучающего набора данных, по которым автоматически выполняется повторное обучение модели для повышения ее точности. Этот процесс повторяется для каждого набора необработанных данных, для которого выполняется маркировка. С каждой итерацией модель маркировки становится все более пригодной для автоматического присвоения меток, и все меньше данных отправляется на обработку специалистам.

Обучение моделей

Вопрос. Что такое Amazon SageMaker Experiments?

Сервис Amazon SageMaker Experiments помогает организовывать и отслеживать итерации обучения моделей машинного обучения. Сервис SageMaker Experiments помогает управлять итерациями, автоматически фиксируя входные параметры, конфигурации и результаты и сохраняя их как эксперименты. Работать при этом можно в визуальном интерфейсе SageMaker Studio, который дает возможность просматривать текущие эксперименты, искать предыдущие эксперименты по характеристикам, просматривать предыдущие эксперименты вместе с результатами и визуально сравнивать полученные результаты между собой.

Вопрос. Что такое отладчик Amazon SageMaker?

Отладчик Amazon SageMaker Debugger делает процесс обучения более прозрачным за счет автоматического сбора в процессе обучения в режиме реального времени таких метрик, как обучение и проверка, матрицы путаницы и градиенты обучения, что в итоге помогает повысить точность модели.

Метрики SageMaker Debugger можно визуализировать в Amazon SageMaker Studio для удобства понимания. SageMaker Debugger также может генерировать предупреждения и рекомендации по исправлению обнаруженных типовых проблем с обучением. С помощью SageMaker Debugger можно интерпретировать работу модели, а это первый шаг к возможности объяснить ее принципы.

Вопрос. Что такое управляемое спотовое обучение?

Управляемое спотовое обучение с использованием Amazon SageMaker позволяет обучать модели машинного обучения с помощью спотовых инстансов Amazon EC2 и при этом снизить затраты на него до 90%.

Вопрос. Как использовать управляемое спотовое обучение?

Отправляя запросы на выполнение своих заданий по обучению, вы активируете управляемое спотовое обучение и указываете, в течение какого периода хотите ждать спотовые ресурсы. Затем Amazon SageMaker использует спотовые инстансы Amazon EC2 для выполнения задания и управляет спотовыми ресурсами. Вы полностью видите состояние задания по обучению как в процессе его выполнения, так и во время ожидания ресурсов.

Вопрос. В каких случаях стоит использовать управляемое спотовое обучение?

Управляемое спотовое обучение – идеальный вариант, когда у вас есть некоторая свобода в выполнении заданий по обучению, а также если вы хотите минимизировать затраты на такие задания. Благодаря управляемому спотовому обучению затраты на обучение моделей машинного обучения можно снизить до 90 %.

Вопрос. Как работает управляемое спотовое обучение?

Для обучения в таком формате используются спотовые инстансы Amazon EC2, которые можно освободить, когда AWS понадобятся ресурсы. Таким образом, задания по управляемому спотовому обучению можно разбить на небольшие этапы и выполнять их по мере доступности ресурсов. В случае прерывания задания по обучению не придется начинать с самого начала, поскольку Amazon SageMaker может возобновить их выполнение, используя последнюю контрольную точку модели. Благодаря SageMaker встроенные платформы и алгоритмы машинного зрения позволяют создавать периодические контрольные точки, которые можно также использовать для пользовательских моделей.

Вопрос. Нужно ли периодически создавать контрольные точки в процессе управляемого спотового обучения?

Рекомендуем периодически создавать контрольные точки при выполнении долгосрочных заданий по обучению. Это позволит предотвратить перезапуск заданий по управляемому спотовому обучению в случае освобождения ресурса. Если активировано использование контрольных точек, Amazon SageMaker возобновит выполнение задания по управляемому спотовому обучению с последней контрольной точки.

Вопрос. Как подсчитать снижение издержек в случае использования заданий по управляемому спотовому обучению?

После завершения задания по управляемому спотовому обучению можно посмотреть, сколько вы экономите, в Консоли управления AWS, а также рассчитать снижение издержек в процентном соотношении между длительностью выполнения задания по обучению и длительностью, указанной в счете.

Независимо от количества прерываний заданий по управляемому спотовому обучению, вы оплачиваете только длительность загрузки данных.

Вопрос. Какие инстансы можно использовать для управляемого спотового обучения?

Для управляемого спотового обучения можно использовать все инстансы, которые поддерживает Amazon SageMaker.

Вопрос. В каких регионах AWS поддерживается управляемое спотовое обучение?

Управляемое спотовое обучение поддерживается во всех регионах AWS, в которых на данный момент доступен Amazon SageMaker.

Вопрос. Существуют ли ограничения на размер пакета данных, который используется для обучения?

С Amazon SageMaker для обучения моделей можно использовать пакеты данных любого размера.

Вопрос. Какие источники данных можно легко добавить в Amazon SageMaker?

В момент создания задания по обучению можно указать местоположение данных для обучения в Amazon S3.

Вопрос. Какие алгоритмы Amazon SageMaker использует для создания моделей?

Amazon SageMaker предоставляет следующие встроенные алгоритмы: вычисление линейной регрессии, логической регрессии, кластеризация методом k-средних, анализ основного компонента, факторизация машин, тематическое нейронное моделирование, латентное размещение Дирихле, построение деревьев методом градиентного роста, алгоритм sequence2sequence, прогнозирование временных рядов, word2vec и классификация изображений. Также SageMaker поддерживает оптимизированные контейнеры Apache MXNet, Tensorflow, Chainer, PyTorch, Gluon, Keras, Horovod, Scikit-learn и Deep Graph Library. Кроме того, Amazon SageMaker поддерживает собственные алгоритмы обучения, предоставленные в образе Docker в соответствии с требованиями спецификации.

Вопрос. Что такое автоматическая настройка модели?

Большинство алгоритмов машинного обучения раскрывают множество параметров, которые контролируют работу базового алгоритма. Эти параметры носят название гиперпараметров, и их значения влияют на качество итоговых обученных моделей. Автоматическая настройка модели – это процесс поиска такого набора гиперпараметров алгоритма, который позволит получить оптимальную модель.

Вопрос. Какие модели поддаются автоматической настройке?

Автоматическую настройку модели можно запускать в Amazon SageMaker поверх любого алгоритма до тех пор, пока это возможно с научной точки зрения. В число возможных вариантов входят встроенные алгоритмы SageMaker, глубокие нейронные сети, а также любые произвольные алгоритмы, которые были импортированы в SageMaker в виде образов Docker.

Вопрос. Можно ли использовать автоматическую настройку модели за пределами Amazon SageMaker?

В настоящий момент это невозможно. Наибольшего эффекта от автоматической настройки модели можно добиться только в рамках Amazon SageMaker.

Вопрос. Какой базовый алгоритм лежит в основе механизма настройки?

В данный момент в качестве алгоритма для настройки гиперпараметров используется специальным образом настроенный алгоритм байесовской оптимизации. Его задача – оптимизировать в процессе настройки заданные пользователем объективные метрики. А точнее, он проверяет объективные метрики завершенных заданий по обучению и использует полученные результаты для изменения комбинации гиперпараметров для следующего задания по обучению.

Вопрос. Вы можете порекомендовать конкретные гиперпараметры, которые следует настроить?

Нет. Влияние различных гиперпараметров на поведение модели зависит от множества факторов. Из-за этого нельзя достоверно заявлять, что один из них важнее других и настраивать следует именно его. Для встроенных в Amazon SageMaker алгоритмов мы указываем, является ли тот или иной гиперпараметр настраиваемым.

Вопрос. Сколько времени занимает настройка гиперпараметров?

Продолжительность настройки гиперпараметров зависит от множества факторов, включая объем используемых данных, базовый алгоритм и значения гиперпараметров. Помимо этого пользователи имеют возможность выбрать количество одновременно выполняемых обучающих задач и их общее количество. Все эти факторы влияют на продолжительность настройки гиперпараметров.

Вопрос. Можно ли оптимизировать несколько целевых метрик по аналогии с моделями, чтобы они были одновременно и быстрыми, и точными?

В настоящий момент это невозможно. На данный момент пользователю необходимо указывать единственную целевую метрику для оптимизации или изменить код алгоритма таким образом, чтобы он порождал новую метрику, которая представляет собой среднее взвешенное между двумя и более полезными метриками. Процесс настройки необходимо будет оптимизировать в сторону этой целевой метрики.

Вопрос. Сколько стоит автоматическая настройка модели?

За саму настройку гиперпараметров плата не взимается. Плата начисляется за выполнение заданий по обучению, которые будут запущены процессом настройки гиперпараметров, согласно ценам на обучение моделей.

Вопрос. Как выбрать между Amazon SageMaker Autopilot и автоматической настройкой параметров?

Amazon SageMaker Autopilot автоматизирует все задачи, входящие в типичный рабочий поток машинного обучения, такие как предварительная обработка компонентов, выбор алгоритма и настройка гиперпараметров, уделяя особое внимание примерам использования классификации и регрессии. Автоматическая настройка модели, в свою очередь, предназначена для настройки моделей независимо от их базовой структуры: встроенные алгоритмы, платформы глубокого обучения или настраиваемые контейнеры. В качестве платы за гибкость применения вам придется вручную выбрать определенный алгоритм, гиперпараметры для настройки и диапазоны поиска.

Вопрос. Что такое стимулированное обучение?

Стимулированное обучение — это техника машинного обучения, позволяющая агенту учиться в интерактивной среде методом проб и ошибок, используя обратную связь по своим действиям и взаимодействиям.

Вопрос. Можно ли обучать модели стимулированного обучения в Amazon SageMaker?

Да. В Amazon SageMaker можно обучать не только контролируемые и неконтролируемые модели, но и модели стимулированного обучения.

Вопрос. Чем стимулированное обучение отличается от контролируемого обучения?

Несмотря на то что и в контролируемом, и в стимулированном обучении используется сопоставление входных и выходных данных, в отличие от контролируемого обучения, где агенту в качестве обратной связи предоставляется набор шагов для выполнения задачи, в стимулированном обучении используется обратная связь с задержкой, когда поощрительные сигналы оптимизируются для достижения долгосрочной цели посредством выполнения последовательности действий.

Вопрос. В каких случаях следует использовать стимулированное обучение?

В то время как целью техник, используемых в контролируемом обучении, является поиск правильного ответа на основе существующих в учебных данных шаблонов, техники неконтролируемого обучения преследуют цель найти сходства и различия между точками данных. Техники стимулированного обучения, в отличие от этого, призваны научить, как достичь нужного результата даже, когда не совсем понятно, что следует для этого делать. Следовательно, стимулированное обучение больше подходит для обеспечения работы интеллектуальных приложений, когда агент может принимать автономные решения: робототехника, автоматизированные транспортные средства, системы отопления, вентиляции и кондиционирования воздуха, промышленные системы контроля и управления и многое другое.

Вопрос. Какой тип сред можно использовать для обучения моделей стимулированного обучения?

Система стимулированного обучения Amazon SageMaker поддерживает несколько разных сред для обучения соответствующих моделей. Можно использовать такие сервисы AWS, как AWS RoboMaker, среды с открытым исходным кодом или пользовательские среды, разработанные с помощью интерфейсов Open AI Gym, а также коммерческие среды моделирования, такие как MATLAB и SimuLink.

Вопрос. Нужно ли создавать собственные алгоритмы для агентов стимулированного обучения, чтобы обучать соответствующие модели?

Нет, система стимулированного обучения Amazon SageMaker включает наборы инструментов для стимулированного обучения, такие как Coach и Ray RLLib, предлагающие реализации алгоритмов для агентов стимулированного обучения (DQN, PPO, A3C и многие другие).

Вопрос. Можно ли использовать собственные библиотеки и реализации алгоритмов стимулированного обучения в системе стимулированного обучения Amazon SageMaker?

Да, вы можете использовать собственные библиотеки и реализации алгоритмов стимулированного обучения, помещенные в контейнеры Docker, в системе стимулированного обучения Amazon SageMaker.

Вопрос. Можно ли выполнять распределенные развертывания с помощью системы стимулированного обучения Amazon SageMaker?

Да. Можно даже выбрать гетерогенный кластер, где обучение проходит в инстансе графического процессора, а моделирование — в нескольких инстансах ЦП.

Развертывание моделей

Вопрос. Что такое Amazon SageMaker Model Monitor?

Amazon SageMaker Model Monitor позволяет разработчикам обнаруживать и устранять концептуальное отклонение. SageMaker Model Monitor автоматически обнаруживает концептуальные отклонения в развернутых моделях и выдает подробные оповещения, которые помогают определить источник проблемы. Все модели, прошедшие обучение в SageMaker, автоматически генерируют основные метрики, которые можно собирать и просматривать в SageMaker Studio. Внутри SageMaker Studio можно настроить собираемые данные, способы их просмотра и ситуации, которые будут генерировать отправку оповещений.

Вопрос. Можно ли получить доступ к инфраструктуре, на которой работает Amazon SageMaker?

Нет. Amazon SageMaker управляет вычислительной инфраструктурой от имени клиента, что позволяет выполнять проверку работоспособности, применять обновления безопасности и выполнять другие рутинные работы по обслуживанию. Кроме того, сервис дает возможность развертывать артефакты моделей обучения с собственным кодом логического вывода в своей среде хостинга.

Вопрос. Как увеличить размер и производительность модели Amazon SageMaker, запущенной в рабочей среде?

Хостинг Amazon SageMaker автоматически масштабирует производительность на основании потребностей приложения, используя Application Auto Scaling. Сервис также позволяет вручную изменить количество и тип инстансов при редактировании конфигурации адреса, не останавливая работу системы.

Вопрос. Как выполнять мониторинг Amazon SageMaker в рабочей среде?

Amazon SageMaker отправляет метрики производительности в Amazon CloudWatch. Это позволяет отслеживать метрики, устанавливать предупреждения и автоматически реагировать на изменения в рабочем трафике. Кроме того, Amazon SageMaker записывает журналы в Amazon CloudWatch Logs, что дает возможность отслеживать и устранять проблемы рабочего развертывания.

Вопрос. Какие модели можно разместить с помощью Amazon SageMaker?

Amazon SageMaker может разместить любую модель, которая соответствует задокументированной спецификации для образов Docker, используемых для логического вывода. Сюда входят модели, созданные из артефактов моделей Amazon SageMaker и кода логического вывода.

Вопрос. Какое количество одновременных запросов API в режиме реального времени поддерживает Amazon SageMaker?

Amazon SageMaker рассчитан на масштабирование для обеспечения большого количества транзакций в секунду. Точное количество определяется конкретной моделью, а также количеством и типом инстансов, на которых выполнено развертывание.

Вопрос. Что такое пакетное преобразование?

Пакетное преобразование позволяет выполнять прогнозирование на основе крупных или малых пакетов данных. Вам не придется разбивать набор данных на несколько фрагментов или управлять адресами реального времени. С помощью простого API можно запрашивать прогнозы для большого количества записей данных, а затем быстро и просто преобразовывать данные.

Вопрос. Что такое Amazon SageMaker Neo?

Amazon SageMaker Neo позволяет обучить модели машинного обучения однократно, а затем запускать их где угодно в облаке и на периферии. SageMaker Neo автоматически оптимизирует модели, созданные на базе популярных платформ глубинного обучения, которые можно использовать для развертывания на нескольких аппаратных платформах. Оптимизированные модели выполняются до двух раз быстрее и потребляют менее десятой части ресурсов по сравнению со стандартными моделями машинного обучения.

Вопрос. Как начать работу с Amazon SageMaker Neo?

Чтобы начать работу с Amazon SageMaker Neo, необходимо войти на консоль Amazon SageMaker, выбрать обученную модель, составить модели, следуя примеру, а затем развернуть полученную модель на целевой аппаратной платформе.

Вопрос. Каковы основные компоненты Amazon SageMaker Neo?

Amazon SageMaker Neo состоит из двух основных компонентов: компилятора и среды выполнения. Во-первых, компилятор Neo считывает модели, экспортированные разными платформами. Затем он преобразует функции и операции платформы в промежуточное представление, которое не зависит от платформы. Затем компилятор выполняет серию оптимизаций, создает двоичный код для оптимизированных операций и записывает их в общую библиотеку объектов. Компилятор также сохраняет определение и параметры модели в отдельные файлы. Во время выполнения среда выполнения Neo загружает артефакты, созданные компилятором: определение модели, параметры, а также общую библиотеку объектов для выполнения модели.

Вопрос. Требуется ли использовать Amazon SageMaker для обучения модели, чтобы применить Amazon SageMaker Neo для преобразования модели?

Нет. Для обученных в любом месте моделей можно применить Neo, чтобы оптимизировать их для инстансов машинного обучения Amazon SageMaker или устройств с поддержкой AWS IoT Greengrass.

Вопрос. Какие модели поддерживает Amazon SageMaker Neo?

В настоящее время Amazon SageMaker Neo поддерживает наиболее популярные модели машинного обучения, которые лежат в основе приложений компьютерного зрения, и наиболее популярные модели дерева принятия решений, которые сегодня используются в Amazon SageMaker. Neo оптимизирует производительность моделей AlexNet, ResNet, VGG, Inception, MobileNet, SqueezeNet и DenseNet, обученных в MXNet и TensorFlow, а также обученные в XGBoost модели классификации и модели на основе алгоритма Random Cut Forest.

Вопрос. Какие платформы поддерживает Amazon SageMaker Neo?

В настоящее время Neo поддерживает инстансы SageMaker ML.C5, ML.C4, ML.M5, ML.M4, ML.P3 и ML.P2, а также устройства AWS DeepLens, Raspberry Pi, Jetson TX1 и TX2, а также ЦП Intel® Atom и Intel® Xeon на базе устройств Greengrass, ЦП ARM Cortex-A и графические процессоры Nvidia Maxwell и Pascal.

Вопрос. Нужно ли использовать определенную версию платформы, которая поддерживается на целевом оборудовании?

Нет. Разработчики могут выполнять модели, используя контейнер Amazon SageMaker Neo, вне зависимости от платформы.

Вопрос. Сколько стоит использование Amazon SageMaker Neo?

Вы платите за использование инстанса машинного обучения Amazon SageMaker, который выполняет процесс получения логических выводов для Amazon SageMaker Neo.

Вопрос. В каких регионах AWS доступен Amazon SageMaker Neo?

Список поддерживаемых регионов вы найдете в таблице регионов AWS.

Подробнее о ценах на Amazon SageMaker

Перейти на страницу цен
Готовы начать?
Регистрация
Есть вопросы?
Свяжитесь с нами