Инстансы G5 в Amazon EC2

Высокопроизводительные инстансы на базе графических процессоров для приложений с интенсивным использованием графики и выводов машинного обучения

Инстансы Amazon EC2 G5 – это самое новое поколение инстансов на базе графических процессоров NVIDIA, предназначенных для всевозможных сценариев использования, требующих интенсивного использования графики и машинного обучения. По сравнению с инстансами Amazon EC2 G4dn они обеспечивают в 3 раза более высокую производительность приложений, интенсивно использующих графику, и до 3,3 раз более высокую производительность для машинного обучения.

Пользователи могут использовать инстансы G5 для приложений с большим объемом графических данных, таких как удаленные рабочие станции, рендеринг видео и облачные игры, чтобы получать высококачественные изображения в режиме реального времени. Благодаря инстансам G5 заказчики, использующие машинное обучение, получают высокопроизводительную и экономичную инфраструктуру для обучения и развертывания более крупных и сложных моделей, предназначенных для обработки естественного языка, компьютерного зрения и движков рекомендаций.

Инстансы G5 имеют до 8-ми графических процессоров NVIDIA A10G Tensor Core и процессоры AMD EPYC второго поколения. Они поддерживают до 192 виртуальных процессоров, пропускную способность сети до 100 Гбит/с и локальный твердотельный накопитель NVMe объемом до 7,6 ТБ.

New Amazon EC2 G5 Instances (1:20)

Преимущества

Высокая производительность для приложений с интенсивным использованием графики

Инстансы G5 обеспечивают в 3 раза более высокую графическую производительность и на 40 % лучшее соотношение производительности и затрат по сравнению с инстансами G4dn. Они имеют больше ядер для трассировки лучей, чем любой другой инстанс EC2 с графическими процессорами, выделяют по 24 ГБ памяти на каждый графический процессор и поддерживают технологию NVIDIA RTX. Благодаря этому они идеально подходят для более быстрой визуализации реалистичных сцен и способны поддерживать мощные виртуальные рабочие станции и приложения с большой потребностью в обработке графики высокого разрешения.

Высокая производительность и экономичность для вывода машинного обучения

Инстансы G5 обеспечивают в 3 раза более высокую производительность и на 40 % лучшее соотношение производительности и затрат при работе с машинным обучением по сравнению с инстансами G4dn. Это высокопроизводительное и экономичное решение для клиентов, которые хотят использовать библиотеки NVIDIA, такие как TensorRT, CUDA и cuDNN, для выполнения приложений машинного обучения.

Экономичное обучение для моделей машинного обучения умеренной сложности

Стоимость обучения на инстансах G5 будет на 15 % ниже, чем на инстансах Amazon EC2 P3. Кроме того, они обеспечивают в 3,3 раза более высокую производительность машинного обучения по сравнению с инстансами G4dn. Это делает их наиболее экономичным решением для обучения моделей машинного обучения умеренной сложности с одним узлом, предназначенных для обработки естественного языка, компьютерного зрения и движков рекомендаций.

Максимальная эффективность использования ресурсов

Инстансы G5 созданы на базе Системы AWS Nitro, состоящей из выделенного оборудования и компактных гипервизоров, что позволяет использовать на инстансах практически все вычислительные возможности и ресурсы памяти, предоставляемые базовым оборудованием, обеспечивая более высокую производительность и защищенность. При работе с инстансами G5 Система AWS Nitro переводит графические процессоры в режим сквозного пропуска, обеспечивая производительность на уровне решений без операционной системы.

Возможности

Графический процессор AWS NVIDIA A10G Tensor Core

Инстансы G5 впервые в облачной отрасли оснащаются графическими процессорами NVIDIA A10G Tensor Core, которые обеспечивают высокую производительность для приложений с интенсивным использованием графики и машинного обучения. Каждый инстанс предоставляет до 8 графических процессоров A10G Tensor Core с 80 ядрами трассировки лучей и 24 ГБ памяти на каждый графический процессор. Они также имеют 320 ядер NVIDIA Tensor Core третьего поколения, обеспечивающих скорость до 250 TOPS, что обеспечивает высокую производительность для рабочих нагрузок машинного обучения.

Драйверы NVIDIA

Инстансы G5 без дополнительной оплаты предоставляют клиентам драйверы RTX Enterprise и игровые драйверы NVIDIA. Драйверы NVIDIA RTX Enterprise позволяют создавать высококачественные виртуальные рабочие станции для широкого спектра рабочих нагрузок с интенсивным использованием графики. Игровые драйверы NVIDIA обеспечивают непревзойденную графическую и вычислительную поддержку для разработки игр. Также инстансы G5 поддерживают библиотеки CUDA, cuDNN, NVENC, TensorRT, Cublas, OpenCL, DirectX 11/12, Vulkan 1.1 и OpenGL 4.5.

Высокая производительность сети и хранилища

Инстансы G5 предоставляют пропускную способность сети до 100 Гбит/с, что позволяет с низкой задержкой удовлетворять потребности приложений с интенсивным использованием графики и алгоритмов машинного обучения. 24 ГБ памяти на каждый графический процессор и поддержка локального твердотельного накопителя NVMe емкостью до 7,6 ТБ обеспечивают локальное хранение больших моделей и наборов данных для высокопроизводительного машинного обучения и логических выводов. Также инстансы G5 могут локально хранить большие видеофайлы, что повышает производительность обработки графики и позволяет выполнять рендеринг больших и сложных видеофайлов.

На основе Системы AWS Nitro

Инстансы G5 основаны на Системе AWS Nitro, которая предлагает широкий выбор структурных блоков и позволяет использовать выделенное оборудование и программное обеспечение для выполнения многих традиционных задач виртуализации, что повышает производительность, доступность и безопасность при одновременном сокращении издержек, связанных с виртуализацией.

Сведения о продукте

  Размер инстанса Графический процессор Графическая память (ГиБ) Виртуальные ЦПУ Память (ГиБ) Хранилище (ГБ) Пропускная способность сети (Гбит/с) Пропускная способность EBS (Гбит/с) Цена по требованию/час* Почасовой тариф для ISP на 1 год (Linux) Почасовой тариф для ISP на 3 года (Linux)
Виртуальные машины с одним графическим процессором g5.xlarge 1 24 4 16 1x250 До 10 До 3,5 1,006 USD 0,604 USD 0,402 USD
g5.2xlarge 1 24 8 32 1x450 До 10 До 3,5 1.212 USD 0,727 USD 0,485 USD
g5.4xlarge 1 24 16 64 1x600 До 25 8 1,624 USD 0,974 USD 0,650 USD
g5.8xlarge 1 24 32 128 1x900 25 16 2,448 USD 1,469 USD 0,979 USD
g5.16xlarge 1 24 64 256 1x1900 25 16 4,096 USD 2,458 USD 1,638 USD
                       
ВМ с несколькими графическими процессорами g5.12xlarge 4 96 48 192 1x3800 40 16 5,672 USD 3,403 USD 2,269 USD
g5.24xlarge 4 96 96 384 1x3800 50 19 8,144 USD 4,886 USD 3,258 USD
g5.48xlarge 8 192 192 768 2×3800 100 19 16,288 USD 9,773 USD 6,515 USD

* Цены указаны для региона AWS Восток США (Северная Вирджиния). Цены, указанные для инстансов, зарезервированных на 1 и 3 года, действительны при выборе способа оплаты с частичной предоплатой или без предоплаты (для инстансов, не предусматривающих возможности частичной предоплаты).

Отзывы клиентов

Логотип Athenascope

Athenascope использует передовые разработки в области компьютерного зрения и искусственного интеллекта для анализа игрового процесса, автоматически отображая наиболее захватывающие моменты игры для создания ярких видеороликов.

«Чтобы обеспечить безупречное качество просмотра видео, важнейшей задачей является анализ видео с низкой задержкой на основе наших моделей машинного зрения. Инстансы Amazon EC2 G5 предлагают соотношение цены и производительности на 30 % лучше по сравнению с предыдущими развертываниями на основе инстансов G4dn».

Крис Кирмсе, генеральный директор и основатель Athenascope

Netflix

Netflix – это один из ведущих мировых развлекательных сервисов потокового вещания. Телесериалы, документальные и художественные фильмы самых разнообразных жанров на разных языках смотрят 214 миллионов подписчиков в 190 странах. 

«Важнейшим для нас приоритетом было создание облачной студии для генерации анимации, визуальных эффектов и контента в прямом эфире для наших зрителей. Мы хотим предоставить авторам возможность использовать наши рабочие станции в любое время и из любого места. Мы постоянно стремимся помочь им внедрять инновации, предоставляя доступ к еще более мощным рабочим станциям».

Стивен Ковальски, директор по разработке инфраструктуры цифрового производства, Netflix

Благодаря новым инстансам G5 в Amazon EC2 мы можем предоставить высококачественные графические рабочие станции, производительность которых втрое превышает показатели рабочих станций на инстансах EC2 G4dn. Инстансы G5 дают больше творческой свободы и позволяют создавать для зрителей более сложный и реалистичный контент».

Бен Такер, технический руководитель отдела проектирования систем анимационного производства, Netflix

Varjo
«Инстансы G5 в Amazon EC2 меняют правила игры для высокопроизводительных приложений виртуальной и дополненной реальности. Мы можем запускать профессиональные приложения в привычном для Varjo качестве, соответствующем разрешению человеческого глаза, с частотой кадров в три раза выше по сравнению с инстансами G4dn. Это обеспечивает нашим клиентам беспрецедентное качество потоковой передачи с сервера». 

Урхо Конттори, основатель и технический директор Varjo

Ознакомиться с примером использования »

Начало работы

Глубокое обучение AWS AMI (DLAMI) и контейнеры Глубокого обучения AWS (DLC)

Глубокое обучение AWS AMI (DLAMI) и контейнеры Глубокого обучения AWS (DLC) предоставляют специалистам по обработке данных, специалистам по машинному обучению и исследователям предварительно установленные образы виртуальных машин и контейнеров в сочетании с фреймворками глубокого обучения, что упрощает начало работы и позволяет обойтись без сложных процессов создания и оптимизации программных сред с нуля. SynapseAI SDK для акселераторов Gaudi интегрирован в сервисы DLAMI и DLC на платформе AWS, что позволяет быстро начать работу с инстансами DL1.

Эластичный сервис Amazon Kubernetes (EKS) или Эластичный сервис контейнеров (ECS)

Клиенты, которые предпочитают самостоятельно управлять контейнерными рабочими нагрузками с помощью сервисов оркестрации контейнеров, могут развернуть инстансы DL1 на базе Amazon EKS или ECS.

Дополнительные ресурсы

Demo: Training deep learning models using Amazon EC2 DL1 instances (2:03)
Introducing Amazon EC2 DL1 instances (3:41)
Amazon EC2 DL1 cost-to-train comparison (0:50)
Get started easily with Amazon EC2 DL1 instances (0:49)

Документация по Habana® Gaudi® версии 0.15

Изучить документацию »

Форум разработчиков Habana®

Посетить форум »

Репозиторий Habana® на GitHub

Перейти на сайт GitHub »

Ресурсы

Спецификация

Графический процессор NVIDIA A10G Tensor Core: ускоренные вычисления и графика для облака AWS

Начало работы с AWS

Зарегистрируйте аккаунт AWS

Зарегистрируйте аккаунт AWS

Получите мгновенный доступ к уровню бесплатного пользования AWS.

Обучение с помощью простых учебных пособий

Обучение с помощью 10-минутных учебных пособий

Знакомьтесь с сервисами и учитесь с помощью простых учебных пособий.

Начать разработку с помощью EC2 в консоли

Начать разработку в консоли

Начните разработку и запустите собственный проект в AWS с помощью пошаговых руководств.