Инстансы P3 в Amazon EC2

Ускорение машинного обучения и высокопроизводительных вычислений с помощью мощных графических процессоров

Ведущие компании, например Airbnb, Salesforce и Western Digital, используют инстансы P3 сервиса Amazon EC2 для своих приложений машинного обучения и высокопроизводительных вычислений.
Инстансы P3 в Amazon EC2 обеспечивают высочайшую производительность вычислений в облаке и экономичность, поддерживают все основные платформы машинного обучения и доступны по всему миру.
Инстансы P3 используют до восьми графических процессоров последнего поколения NVIDIA Tesla V100 с производительностью до 1 петафлопса в режиме смешанной точности на каждый инстанс, что позволяет значительно ускорить машинное обучение и высокопроизводительные вычисления. Инстансы P3 в Amazon EC2 на практике подтвердили сокращение продолжительности машинного обучения с нескольких дней до нескольких минут, а также ускорение высокопроизводительных вычислений.

ReInvent_HA_P3_EDITORIAL
88 % of TensorFlow projects in the cloud are running on AWS.
В этом отчете компания Nucleus Research рассказывает о пяти причинах, которые побуждают специалистов по глубокому обучению отдавать предпочтение AWS, а не другим поставщикам облачных сервисов.

ВИДЕО. Подробнее об инстансах P3 в Amazon EC2 и их использовании в приложениях машинного обучения компании Airbnb (48:08).
AWS re:Invent 2017: Introducing Amazon EC2 P3 Instances

Преимущества

СОКРАЩЕНИЕ ПРОДОЛЖИТЕЛЬНОСТИ МАШИННОГО ОБУЧЕНИЯ С НЕСКОЛЬКИХ ДНЕЙ ДО НЕСКОЛЬКИХ МИНУТ

Инстансы P3 в Amazon EC2 являются самыми мощными из доступных в облаке вычислительных инстансов на графических процессорах. Для специалистов по работе с данными, исследователей и разработчиков это хороший способ ускорить приложения машинного обучения. Инстансы P3 в Amazon EC2 используют до восьми графических процессоров последнего поколения NVIDIA Tesla V100 и обеспечивают производительность до 1 петафлопса в режиме смешанной точности. Это помогает значительно ускорить рабочие нагрузки, связанные с машинным обучением. Ускорение обучения моделей позволяет специалистам по работе с данными и инженерам машинного обучения быстрее выполнять итерации, обучать большее количество моделей и повышать точность.

 

ОДНО ИЗ САМЫХ ЭКОНОМИЧНЫХ РЕШЕНИЙ В ОТРАСЛИ

При использовании инстансов P3 в Amazon EC2 предусмотрены различные тарифные планы в зависимости от потребностей клиента, что помогает сокращать расходы.  Помимо инстансов по требованию с оплатой за работающие инстансы можно в любое время с большой скидкой приобрести зарезервированные инстансы на срок от одного до трех лет. Можно также использовать спотовые инстансы, которые задействуют неиспользованные инстансы EC2 и позволяют значительно снизить стоимость использования Amazon EC2.

ГИБКИЕ И МОЩНЫЕ ВЫСОКОПРОИЗВОДИТЕЛЬНЫЕ ВЫЧИСЛЕНИЯ

В отличие от локальных систем высокопроизводительные вычисления на инстансах P3 в Amazon EC2 предлагают практически неограниченную производительность для масштабирования инфраструктуры и возможность гибко настраивать ресурсы в зависимости от рабочих нагрузок. Сервис позволяет настраивать ресурсы в соответствии с требованиями приложения, при этом кластер для высокопроизводительных вычислений можно запустить в течение нескольких минут и оплачивать его работу только по факту использования.

ИНТЕГРАЦИЯ С СЕРВИСАМИ AWS ДЛЯ МАШИННОГО ОБУЧЕНИЯ

Инстансы P3 в Amazon EC2 эффективно интегрированы с Amazon SageMaker, образуя мощную и интуитивно понятную комплексную платформу машинного обучения. Amazon SageMaker – полностью управляемая платформа машинного обучения, которая позволяет просто и быстро создавать, обучать и развертывать модели машинного обучения. Кроме того, инстансы P3 в Amazon EC2 можно использовать для развертывания образов AWS Deep Learning Amazon Machine Image (AMI) с предустановленными популярными платформами глубокого обучения. Это упрощает начало процесса обучения моделей и ускоряет получение логических выводов.

ПОДДЕРЖКА ВСЕХ ОСНОВНЫХ ПЛАТФОРМ МАШИННОГО ОБУЧЕНИЯ

Инстансы P3 в Amazon EC2 поддерживают все основные платформы машинного обучения, в том числе TensorFlow, PyTorch, Apache MXNet, Caffe, Caffe2, Microsoft Cognitive Toolkit (CNTK), Chainer, Theano, Keras, Gluon и Torch. Пользователи могут выбрать платформу, оптимально подходящую для конкретных приложений.

Масштабируемое обучение моделей на множестве узлов

Для машинного обучения можно использовать несколько инстансов P3 в Amazon EC2, чтобы быстро обучать модели. Кластер хранилища и вычислительный кластер можно настроить таким образом, чтобы кластер хранилища сохранял наборы данных для обучения и оценки, а также отвечал за передачу данных вычислительному кластеру, а вычислительный кластер выполнял прямые проходы, обратное распространение и обновление весовых показателей.

Истории клиентов

200x100_AirBNB_Logo

Airbnb использует машинное обучение для оптимизации поисковых рекомендаций и улучшения динамического ценообразования для хозяев жилья. Все это помогает повысить конверсию заказов на бронирование. С инстансами P3 в Amazon EC2 у Airbnb появилась возможность быстрее выполнять рабочие нагрузки по обучению моделей, что позволяет выполнять больше итераций, создавать более совершенные модели машинного обучения и сокращать расходы.

salesforce_logo_200x100

Salesforce применяет машинное обучение для работы приложения Einstein Vision, которое позволяет разработчикам использовать возможности распознавания изображений для визуального поиска, определения бренда и идентификации продукта. Инстансы P3 в Amazon EC2 позволяют разработчикам значительно ускорить процессы глубокого обучения моделей, что позволяет быстрее достигать результатов в сфере машинного обучения.

western-digital_200x100

Western Digital использует высокопроизводительные вычисления для запуска десятков тысяч симуляций с целью изучения свойств материалов, тепловых потоков, магнетизма, а также для моделирования передачи данных, чтобы повысить производительность и качество дисковых приводов и решений для хранения данных. По результатам первичного тестирования новые инстансы P3 в Amazon EC2 позволяют инженерным командам выполнять моделирование и симуляции как минимум в три раза быстрее, чем при использовании прошлых решений.  

schrodinger-200x100

Schrodinger использует высокопроизводительные вычисления для разработки прогнозирующих моделей, которые расширяют масштабы поиска и оптимизации и позволяют клиентам компании быстрее выводить на рынок жизненно важные лекарственные препараты. Благодаря инстансам P3 в Amazon EC2 компания Schrodinger может выполнять за день в четыре раза больше симуляций, чем при использовании инстансов P2.  

Инстансы P3 в Amazon EC2 и Amazon SageMaker

Самый быстрый способ обучения и запуска моделей машинного обучения

Amazon SageMaker – полностью управляемый сервис для создания, обучения и развертывания моделей машинного обучения. При использовании этого сервиса совместно с инстансами P3 в Amazon EC2 клиенты могут просто выполнять масштабирование рабочих нагрузок на десятки, сотни и тысячи графических процессоров для быстрого обучения моделей в любом масштабе, не беспокоясь о настройке кластеров и конвейеров обработки данных. Сервис позволяет просто получать доступ к ресурсам Amazon Virtual Private Cloud (VPC) для обучения и размещения рабочих процессов Amazon SageMaker. Благодаря этой возможности для хранения данных при обучении, а также для хранения и размещения артефактов моделей, полученных в процессе обучения, можно использовать корзины сервиса Amazon Simple Storage Service (S3), доступные только через VPC. Помимо хранилища S3 модели могут получать доступ ко всем прочим ресурсам AWS в рамках VPC. Подробнее.

Создание

Amazon SageMaker позволяет без труда создавать модели машинного обучения и готовить их к обучению. Сервис предоставляет все необходимые инструменты для быстрого подключения к обучающим данным, а также выбора и оптимизации оптимального алгоритма и инфраструктуры для приложений пользователя. Amazon SageMaker предоставляет размещенные блокноты Jupyter, которые облегчают обзор и визуализацию данных для обучения, хранимых в Amazon S3.  Инстанс блокнота можно также использовать для создания кода, которые создает задания по обучению моделей, выполняет развертывание моделей в сервисе Amazon SageMaker, а также проводит тестирование или оценку моделей.

Обучение

Приступить к обучению модели можно за один щелчок мышью в консоли или за один простой вызов API. В Amazon SageMaker уже установлены самые новые версии TensorFlow и Apache MXNet, а также обеспечена поддержка библиотеки CUDA9 для оптимальной производительности при работе с графическими процессорами NVIDIA. Кроме того, оптимизация гиперпараметров позволяет автоматически настроить модель путем интеллектуального анализа различных комбинаций параметров, благодаря чему модель быстро выдаст прогноз максимально возможной точности. Если есть потребности в увеличении масштаба, можно выполнить масштабирование на десятки инстансов для ускорения построения моделей.

Развертывание

После прохождения обучения развертывание модели на автоматически масштабируемых инстансах EC2 в нескольких зонах доступности можно выполнить за один щелчок мышью. При рабочем развертывании Amazon SageMaker управляет от имени пользователя вычислительной средой, выполняя проверку работоспособности, применяя обновления безопасности и обеспечивая выполнение других рутинных операций по обслуживанию. Дополнительно сервис предоставляет встроенные возможности мониторинга и ведения журналов средствами Amazon CloudWatch.

 

Инстансы P3 в Amazon EC2 и образы AWS Deep Learning AMI

Предварительно настроенные среды разработки для быстрого начала разработки приложений глубокого обучения

Образы AWS Deep Learning AMI являются альтернативой сервису Amazon SageMaker для разработчиков с индивидуальными требованиями и предоставляют специалистам по машинному обучению и ученым инфраструктуру и инструменты для ускорения глубокого обучения в облаке в любых масштабах. С помощью этих образов можно быстро запускать инстансы P3 в Amazon EC2 с предварительно установленными популярными платформами глубокого обучения, такими как TensorFlow, PyTorch, Apache MXNet, Microsoft Cognitive Toolkit, Caffe, Caffe2, Theano, Torch, Chainer, Gluon и Keras, что позволяет обучать сложные специальные модели AI, экспериментировать с новыми алгоритмами или изучать новые навыки и методы. Подробнее.

Инстансы P3 сервиса Amazon EC2 и высокопроизводительные вычисления

Решайте сложные вычислительные задачи и находите новые идеи, используя всю мощь высокопроизводительных вычислений на платформе AWS

Инстансы P3 сервиса Amazon EC2 – идеальная платформа для инженерного моделирования, финансовых вычислений, сейсмического анализа, молекулярного моделирования, геномики, рендеринга и прочих рабочих нагрузок, требующих наличия графического процессора. С помощью высокопроизводительных вычислений (HPC) ученые и инженеры могут решать сложные задачи, требующие больших вычислительных мощностей. Для работы HPC-приложений часто требуется высокая производительность сети, хранилище с высокой скоростью чтения и записи, большая емкость памяти, огромные вычислительные мощности либо все эти ресурсы одновременно. Платформа AWS позволяет сократить время проведения исследований и ожидания результатов благодаря запуску высокопроизводительных вычислений в облаке и масштабированию с возможностью параллельного выполнения такого количества заданий, которое недостижимо в обычной локальной среде. При этом AWS позволяет сократить затраты, предоставляя решения, оптимизированные под определенные приложения, без больших капитальных инвестиций. Подробнее.

Инстансы P3 в Amazon EC2: сведения о продукте

Размер инстанса Графические процессоры – Tesla V100 Связь между графическими процессорами Память графического процессора (ГБ) Виртуальные ЦПУ Память (ГБ) Пропускная способность сети Пропускная способность EBS Цена по требованию/час* Зарезервированный инстанс на 1 год, фактический почасовой тариф* Зарезервированный инстанс на 3 года, фактический почасовой тариф*
p3.2xlarge 1 н/д 16 8 61 До 10 Гбит/с 1,5 Гбит/с

3,06 USD

1,99 USD

1,23 USD

p3.8xlarge 4 NVLink 64 32 244 10 Гбит/с 7 Гбит/с

12,24 USD

7,96 USD

4,93 USD

p3.16xlarge 8 NVLink 128 64 488 25 Гбит/с 14 Гбит/с

24,48 USD

15,91 USD

9,87 USD

* Цены указаны для Linux/Unix в регионе AWS Восток США (Северная Вирджиния). Полные сведения о ценах см. на странице цен на Amazon EC2.

Инстансы P3 доступны в регионах AWS Восток США (Северная Вирджиния), Восток США (Огайо), Запад США (Орегон), ЕС (Ирландия), Азия и Тихий океан (Сеул), Азия и Тихий океан (Токио), AWS GovCloud (США) и Китай (Пекин). Клиенты могут приобрести инстансы P3 в качестве инстансов по требованию, зарезервированных инстансов, спотовых инстансов или выделенного хостинга.

ОПЛАТА ПО СЕКУНДАМ

Одно из преимуществ облачных вычислений – возможность эластичного выделения ресурсов по мере необходимости. За счет посекундной тарификации мы позволяем клиентам повысить эластичность, сократить расходы и оптимизировать распределение ресурсов для достижения целей в области машинного обучения.

ЦЕНЫ НА ЗАРЕЗЕРВИРОВАННЫЕ ИНСТАНСЫ

На зарезервированные инстансы предоставляется значительная скидка (до 75 %) по сравнению с ценами инстансов по требованию. Кроме того, когда зарезервированные инстансы связываются с определенной зоной доступности, они обеспечивают резервирование ресурсов и дают дополнительную уверенность в том, что можно будет запустить инстансы в нужный момент.

СПОТОВЫЕ ЦЕНЫ

Использование спотовых инстансов оплачивается по ценам, которые действуют в период работы инстансов. Цены на спотовые инстансы устанавливаются Amazon EC2 и постепенно корректируются в зависимости от долгосрочных тенденций предложения и спроса на ресурсы спотовых инстансов. Спотовые инстансы доступны со скидкой до 90 % в сравнении с ценами по требованию.

Широчайшая доступность в международном масштабе

1856-Updated Map Image-P3 Instances-transparentBG_1024x543

Инстансы P3 сервиса Amazon EC2 расположены в 18 зонах доступности в 8 регионах AWS, благодаря чему клиенты могут гибко обучать и развертывать модели, где бы ни хранились их данные. Доступные регионы для инстансов P3 в EC2: Восток США (Сев. Вирджиния), Восток США (Огайо), Запад Европы (Ирландия), Азия и Тихий океан (Токио), Азия и Тихий океан (Пекин), Азия и Тихий океан (Сеул) и GovCloud (США).

Начать работу с инстансами P3 в Amazon EC2 для машинного обучения

Чтобы начать работу за минуты, узнайте подробнее об Amazon SageMaker или воспользуйтесь образами AWS Deep Learning AMI, в которых предустановлены популярные платформы глубокого обучения, например Caffe2 и Mxnet. Можно также воспользоваться NVIDIA AMI с предварительно установленным драйвером графического процессора и набором инструментов CUDA.

Подробнее об Amazon SageMaker

Подробнее см. по ссылке

Подробнее о глубоком обучении на AWS

Подробнее см. по ссылке

Подробнее о высокопроизводительных вычислениях (HPC)

Подробнее см. по ссылке
Готовы начать работу?
Регистрация
Есть вопросы?
Свяжитесь с нами