Контейнеры AWS Deep Learning

Быстро настройте среды глубокого обучения с помощью оптимизированных и уже упакованных образов контейнеров

Контейнеры AWS Deep Learning (контейнеры AWS DL) – это образы Docker, на которые предварительно установлены платформы глубокого обучения, чтобы упростить процесс развертывания специальных сред машинного обучения (ML). Они позволяют избежать сложного процесса создания и оптимизации сред ML с нуля. Контейнеры AWS DL поддерживают TensorFlow и Apache MXNet. Поддержка PyTorch и других платформ глубокого обучения ожидается в ближайшее время. Контейнеры AWS DL можно развертывать в Amazon Elastic Container Service for Kubernetes (Amazon EKS), самостоятельно управляемых кластерах Kubernetes, Amazon Elastic Container Service (Amazon ECS) и Amazon EC2. Доступ к контейнерам можно получить через Amazon Elastic Container Registry (Amazon ECR) и AWS Marketplace совершенно бесплатно – оплате подлежат только используемые ресурсы. Начните работу, ознакомившись с этим учебным пособием »

Контейнеры Docker – это популярный способ развертывания специальных сред машинного обучения, которые единообразно работают в различных средах. Однако процессы создания и тестирования образов контейнеров для глубокого обучения сложны, в них могут возникать ошибки, а при возникновении проблем, связанных с зависимостями и совместимостью версий программного обеспечения, такой процесс может затянуться на несколько дней. Кроме того, такие образы необходимо оптимизировать для эффективного распределения и масштабирования рабочих нагрузок ML в кластере инстансов, что требует определенного опыта. После выпуска обновлений платформы весь этот процесс приходится повторять. Все это – тяжелая однообразная работа, которая отнимает у разработчиков ценное время и замедляет внедрение инноваций.

Контейнеры AWS DL предлагают готовые протестированные образы Docker, на которые предварительно установлены последние версии популярных платформ глубокого обучения с необходимыми библиотеками. Контейнеры AWS DL оптимизированы для эффективного распределения рабочих нагрузок машинного обучения в кластерах инстансов в AWS, т. е. сразу могут обеспечить высокую производительность и масштабируемость.

Introducing AWS Deep Learning Containers

Преимущества

Возможность мгновенно приступить к разработке

Предварительно упакованные образы Docker можно использовать для быстрого развертывания сред глубокого обучения. Образы полностью протестированы и включают в себя библиотеки и инструменты, необходимые для платформы глубокого обучения (в настоящее время это TensorFlow и Apache MXNet). Для повышения уровня контроля в вопросах мониторинга, соответствия требованиям и обработки данных можно просто добавить собственные библиотеки и инструменты к тем, что уже установлены в образах. Подробнее см. в разделе AWS Deep Learning Container Images.

Автоматическое достижение максимальной производительности

Чтобы обеспечить максимальный уровень производительности при обучении моделей и получении логических выводов в облаке, контейнеры AWS DL включают оптимизации и улучшения AWS для последних версий популярных платформ, таких как TensorFlow и Apache MXNet, и связанных библиотек. Например, оптимизация AWS TensorFlow позволяет моделям обучаться в два раза быстрее благодаря значительной доработке процессов масштабирования на графических процессорах.

Быстрое добавление машинного обучения в приложения на Kubernetes

Контейнеры AWS DL созданы для работы с Kubernetes на Amazon EC2. Если у вас есть приложения, развернутые на Kubernetes с Amazon EC2, можно быстро добавить к ним микросервис для машинного обучения, используя контейнеры AWS DL.

Простое управление рабочими процессами машинного обучения

Контейнеры AWS DL тесно интегрированы с Amazon EKS и Amazon ECS, что позволяет без труда выбирать и создавать пользовательские рабочие процессы машинного обучения для обучения, проверки и развертывания. Благодаря такой интеграции Amazon EKS и Amazon ECS обрабатывают всю оркестрацию контейнеров, необходимую для развертывания и масштабирования контейнеров AWS DL на кластерах виртуальных машин.

Контейнеры AWS DL поддерживают TensorFlow и Apache MXNet. Поддержка PyTorch и других платформ ожидается в ближайшее время.

TensorFlow
Поддержка TensorFlow
Apache MXNet
Поддержка Apache MXNet

Клиенты

Wix

«Контейнеры Deep Learning ускоряют нашу работу на 20 %. Раньше процесс вывода продукта на рынок затягивался из‑за работ, которые необходимо было провести для развертывания в рабочей среде моделей, разработанных нашими специалистами по обработке и анализу данных. Эти специалисты обычно применяли образы AWS Deep Learning AMI, а группа по развертыванию использовала для рабочей среды контейнеры Docker. Обеспечение согласованности между исследовательской и рабочей средами отнимало много времени и нередко приводило к ошибкам. Теперь благодаря контейнерам AWS Deep Learning мы можем использовать одну и ту же оптимизированную и стабильную среду TensorFlow на протяжении всего конвейера – от исследования и обучения до рабочей среды».


Accenture

«В Accenture специалисты по обработке и анализу данных занимаются внедрением инноваций по заказу клиентов, создавая приложения для глубокого обучения в области компьютерного зрения и обработки естественного языка для самых различных отраслей, таких как телекоммуникации или добыча ресурсов. Наша команда быстро развивается; мы используем контейнеры Docker для быстрого обучения и развертывания моделей. При необходимости многократного создания и обслуживания образов контейнеров с библиотеками и платформами глубокого обучения скорость работы падает; нам приходится тратить драгоценные дни на решение проблем с совместимостью или зависимостями. Благодаря контейнерам Deep Learning теперь у нас есть доступ к образам контейнеров, которые сразу готовы к использованию и обеспечивают нам оптимизированную производительность в AWS». 


Patch'd

«В компании Patch'd глубокое обучение используется для обнаружения заражения крови на ранних стадиях. Мы рассматриваем контейнеры Docker как способ десятикратного расширения наших существующих конвейеров глубокого обучения; это позволяет нам просто и быстро тестировать сотни моделей. Однако мы не хотим тратить ценное время, выделенное на анализ данных и разработку, на то, чтобы настраивать и оптимизировать среды Docker для глубокого изучения. С помощью контейнеров Deep Learning мы можем настроить оптимизированные среды TensorFlow за считаные минуты без каких‑либо затрат».

Публикации в блогах и статьи

New – AWS Deep Learning Containers
27­ марта 2019 г.
 
 
Рекомендации по оптимизации распределенной производительности глубокого обучения на Amazon EKS
01 мая 2019 г.
 
Рабочие нагрузки с использованием графических процессоров на AWS Batch
04 апреля 2019 г.
 
 
Product-Page_Standard-Icons_01_Product-Features_SqInk
Ознакомьтесь с ресурсами по продукту

Подробнее о контейнерах AWS DL.

Подробнее 
Зарегистрируйте бесплатный аккаунт AWS
Зарегистрируйте бесплатный аккаунт

Получите мгновенный доступ к уровню бесплатного пользования AWS. 

Регистрация 
Начните разработку с использованием контейнеров Deep Learning
Начать разработку в консоли

Начните работу с контейнерами AWS DL на Amazon EC2.

Попробовать сейчас