- Amazon EC2›
- Типы инстансов›
- Инстансы G5
Инстансы G5 в Amazon EC2
Высокопроизводительные инстансы на базе графических процессоров для приложений с интенсивным использованием графики и выводов машинного обучения
Какие преимущества дают инстансы Amazon EC2 G5?
Инстансы Amazon EC2 G5 – это самое новое поколение инстансов на базе графических процессоров NVIDIA, предназначенных для всевозможных сценариев использования, требующих интенсивного использования графики и машинного обучения. По сравнению с инстансами Amazon EC2 G4dn они обеспечивают в 3 раза более высокую производительность приложений, интенсивно использующих графику, и до 3,3 раз более высокую производительность для машинного обучения.
Пользователи могут использовать инстансы G5 для приложений с большим объемом графических данных, таких как удаленные рабочие станции, рендеринг видео и облачные игры, чтобы получать высококачественные изображения в режиме реального времени. Благодаря инстансам G5 заказчики, использующие машинное обучение, получают высокопроизводительную и экономичную инфраструктуру для обучения и развертывания более крупных и сложных моделей, предназначенных для обработки естественного языка, компьютерного зрения и движков рекомендаций.
В инстансах G5 установлено до 8 процессоров NVIDIA и AMD EPYC второго поколения. Они поддерживают до 192 виртуальных процессоров, пропускную способность сети до 100 Гбит/с и локальный твердотельный накопитель NVMe объемом до 7,6 ТБ.
Преимущества
Инстансы G5 обеспечивают в 3 раза более высокую графическую производительность и на 40 % лучшее соотношение производительности и затрат по сравнению с инстансами G4dn. Они имеют больше ядер для трассировки лучей, чем любой другой инстанс EC2 с графическими процессорами, выделяют по 24 ГБ памяти на каждый графический процессор и поддерживают технологию NVIDIA RTX. Благодаря этому они идеально подходят для более быстрой визуализации реалистичных сцен и способны поддерживать мощные виртуальные рабочие станции и приложения с большой потребностью в обработке графики высокого разрешения.
Инстансы G5 обеспечивают в 3 раза более высокую производительность и на 40 % лучшее соотношение производительности и затрат при работе с машинным обучением по сравнению с инстансами G4dn. Это высокопроизводительное и экономичное решение для клиентов, которые хотят использовать библиотеки NVIDIA, такие как TensorRT, CUDA и cuDNN, для выполнения приложений машинного обучения.
Стоимость обучения на инстансах G5 будет на 15 % ниже, чем на инстансах Amazon EC2 P3. Кроме того, они обеспечивают в 3,3 раза более высокую производительность машинного обучения по сравнению с инстансами G4dn. Это делает их наиболее экономичным решением для обучения моделей машинного обучения умеренной сложности с одним узлом, предназначенных для обработки естественного языка, компьютерного зрения и движков рекомендаций.
Инстансы G5 созданы на базе Системы AWS Nitro, состоящей из выделенного оборудования и компактных гипервизоров, что позволяет использовать на инстансах практически все вычислительные возможности и ресурсы памяти, предоставляемые базовым оборудованием, обеспечивая более высокую производительность и защищенность. При работе с инстансами G5 Система AWS Nitro переводит графические процессоры в режим сквозного пропуска, обеспечивая производительность на уровне решений без операционной системы.
Возможности
Инстансы G5 впервые в облачной отрасли оснащаются графическими процессорами NVIDIA A10G Tensor Core, которые обеспечивают высокую производительность для приложений с интенсивным использованием графики и машинного обучения. Каждый инстанс предоставляет до 8 графических процессоров A10G Tensor Core с 80 ядрами трассировки лучей и 24 ГБ памяти на каждый графический процессор. Они также имеют 320 ядер NVIDIA Tensor Core третьего поколения, обеспечивающих скорость до 250 TOPS, что обеспечивает высокую производительность для рабочих нагрузок машинного обучения.
Инстансы G5 без дополнительной оплаты предоставляют клиентам драйверы RTX Enterprise и игровые драйверы NVIDIA. Драйверы NVIDIA RTX Enterprise позволяют создавать высококачественные виртуальные рабочие станции для широкого спектра рабочих нагрузок с интенсивным использованием графики. Игровые драйверы NVIDIA обеспечивают непревзойденную графическую и вычислительную поддержку для разработки игр. Также инстансы G5 поддерживают библиотеки CUDA, cuDNN, NVENC, TensorRT, Cublas, OpenCL, DirectX 11/12, Vulkan 1.1 и OpenGL 4.5.
Инстансы G5 предоставляют пропускную способность сети до 100 Гбит/с, что позволяет с низкой задержкой удовлетворять потребности приложений с интенсивным использованием графики и алгоритмов машинного обучения. 24 ГБ памяти на каждый графический процессор и поддержка локального твердотельного накопителя NVMe емкостью до 7,6 ТБ обеспечивают локальное хранение больших моделей и наборов данных для высокопроизводительного машинного обучения и логических выводов. Также инстансы G5 могут локально хранить большие видеофайлы, что повышает производительность обработки графики и позволяет выполнять рендеринг больших и сложных видеофайлов.
Инстансы G5 основаны на Системе AWS Nitro, которая предлагает широкий выбор структурных блоков и позволяет использовать выделенное оборудование и программное обеспечение для выполнения многих традиционных задач виртуализации, что повышает производительность, доступность и безопасность при одновременном сокращении издержек, связанных с виртуализацией.
Сведения о продукте
|
|
Instance Size
|
GPU
|
GPU Memory (GiB)
|
vCPUs
|
Memory (GiB)
|
Storage (GB)
|
Network Bandwidth (Gbps)
|
EBS Bandwidth (Gbps)
|
||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Виртуальные машины с одним графическим процессором
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||
|
ВМ с несколькими графическими процессорами
|
|
|
|
|
|
|
|
|
Атенаскоп
Athenascope использует передовые разработки в области компьютерного зрения и искусственного интеллекта для анализа игрового процесса, автоматически отображая наиболее захватывающие моменты игры для создания ярких видеороликов.
Чтобы обеспечить безупречное качество просмотра видео, важнейшей задачей является анализ видео с низкой задержкой на основе наших моделей машинного зрения. Инстансы Amazon EC2 G5 предлагают соотношение цены и производительности на 30 % лучше по сравнению с предыдущими развертываниями на основе инстансов G4dn.
Крис Кирмсе, генеральный директор и основатель Athenascope
Netflix
Netflix – это один из ведущих мировых развлекательных сервисов потокового вещания. Телесериалы, документальные и художественные фильмы самых разнообразных жанров на разных языках смотрят 214 миллионов подписчиков в 190 странах.
Благодаря новым инстансам G5 в Amazon EC2 мы можем предоставить высококачественные графические рабочие станции, производительность которых втрое превышает показатели рабочих станций на инстансах EC2 G4dn. Инстансы G5 дают больше творческой свободы и позволяют создавать для зрителей более сложный и реалистичный контент.
Бен Такер, технический руководитель отдела проектирования систем анимационного производства, компания Netflix
Varjo
Инстансы G5 в Amazon EC2 меняют правила игры для высокопроизводительных приложений виртуальной и дополненной реальности. Мы можем запускать профессиональные приложения в привычном для Varjo качестве, соответствующем разрешению человеческого глаза, с частотой кадров в три раза выше по сравнению с инстансами G4dn. Это обеспечивает нашим клиентам беспрецедентное качество потоковой передачи с сервера.
Урхо Конттори, основатель и технический директор Varjo
Начало работы с инстансами G5
Образы DLAMI предоставляют специалистам по машинному обучению и ученым инфраструктуру и инструменты, которые позволяют ускорить работу с глубоким обучением в облаке в любых масштабах. Контейнеры для глубокого обучения – это образы Docker, на которые предварительно установлены платформы глубокого обучения. Они позволяют упростить процесс развертывания специальных сред для машинного обучения, избавляя от сложностей с их созданием и оптимизацией.
Если вы предпочитаете управлять собственными контейнерными рабочими нагрузками с помощью сервисов оркестрации контейнеров, вы можете развернуть инстансы G5 с помощью Amazon EKS или Amazon ECS.
Вы можете использовать разные Образы машины Amazon (AMI), которые предоставляются компаниями AWS и NVIDIA в комплекте с установленными драйверами NVIDIA.
Вы можете развертывать модели машинного обучения на инстансах G5 с помощью полностью управляемого сервиса Amazon SageMaker, который предназначен для создания, обучения и развертывания моделей машинного обучения.