Инстансы Amazon EC2 P4

Благодаря графическим процессорам NVIDIA A100 Tensor Core последнего поколения каждый инстанс P4d обеспечивает в среднем в 2,5 раза лучшую производительность глубокого обучения по сравнению с инстансами P3 предыдущего поколения. Кластеры EC2 UltraClusters инстансов P4d помогают обычным разработчикам, специалистам по обработке данных и исследователям выполнять самые сложные рабочие нагрузки машинного обучения и высокопроизводительных вычислений, предоставляя доступ к производительности класса суперкомпьютера без предварительных затрат и долгосрочных обязательств. Сокращение времени обучения на инстансах P4d повышает производительность, помогая разработчикам сосредоточиться на своей основной задаче – внедрении самообучающегося ИИ в бизнес-приложения.

Разработчики могут легко масштабироваться до тысяч графических процессоров с помощью кластеров EC2 UltraClusters инстансов P4d. Высокопроизводительная сеть с малой задержкой и поддержкой сети инстансов 400 Гбит/с, Интерфейс эластичной матрицы (EFA) и технология GPUDirect RDMA помогают быстро обучать модели машинного обучения с использованием методов масштабирования или распределения. EFA использует NVIDIA Collective Communications Library (NCCL) для масштабирования до тысяч графических процессоров, а технология GPUDirect RDMA обеспечивает обмен данными графических процессоров между инстансами P4d с низкой задержкой.

Инстансы P4d дают возможность снизить затраты на обучение моделей машинного обучения на 60 % по сравнению с инстансами P3. Кроме того, инстансы P4d можно приобрести в виде спотовых инстансов. Спотовые инстансы задействуют неиспользуемые ресурсы инстансов EC2 и позволяют значительно снизить стоимость использования EC2, получив экономию до 90 % по сравнению с ценами на инстансы по требованию. Снижение стоимости на обучение моделей машинного обучения с использованием инстансов P4d дает возможность перераспределить расходы на внедрение в бизнес-приложения дополнительных интеллектуальных данных машинного обучения.

Глубокое обучение AWS AMI (DLAMI) и контейнеры Amazon Deep Learning упрощают развертывание сред P4d для глубокого обучения за считанные минуты, поскольку они содержат необходимые библиотеки и инструменты платформ глубокого обучения. Кроме того, к этим образам можно легко добавлять собственные библиотеки и инструменты. Инстансы P4d поддерживают популярные платформы машинного обучения, такие как TensorFlow, PyTorch и MXNet. Кроме того, инстансы P4d поддерживаются основными сервисами AWS для машинного обучения, управления и оркестрации, такими как Amazon SageMaker, Эластичный сервис Amazon Kubernetes (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), Пакет AWS и AWS ParallelCluster.

Графические процессоры NVIDIA A100 Tensor Core обеспечивают беспрецедентное масштабируемое ускорение машинного обучения и высокопроизводительных вычислений. Ядра NVIDIA A100 Tensor Core третьего поколения ускоряют выполнение любых прецизионных рабочих нагрузок, ускоряя получение аналитических данных и вывод продукта на рынок. Каждый графический процессор A100 обеспечивает большую вычислительную производительность – более чем в 2,5 раза – по сравнению с графическим процессором V100 предыдущего поколения и оснащен высокопроизводительной памятью графического процессора: 40 ГБ типа HBM2 (в инстансах P4d) и 80 ГБ типа HBM2e (в инстансах P4de). Больший объем памяти графического процессора особенно выгоден для тех рабочих нагрузок, которые связаны с обучением работе с большими наборами высокоточных данных. Графические процессоры NVIDIA A100 используют пропускную способность взаимодействия между графическими процессорами NVSwitch, поэтому каждый графический процессор может связываться с любым другим графическим процессором в том же инстансе при той же двунаправленной пропускной способности 600 ГБ/с с односкачковой задержкой.

Инстансы P4d обеспечивают сетевое подключение со скоростью 400 Гбит/с, что помогает клиентам лучше масштабировать распределенные рабочие нагрузки, такие как обучение работы с несколькими узлами, с помощью сети с высокой пропускной способностью между инстансами P4d, а также между инстансами P4d и сервисами хранилищ, такими как Amazon Simple Storage Service (Amazon S3) и FSx для Lustre. EFA – это пользовательский сетевой интерфейс, разработанный AWS для масштабирования приложений машинного обучения и высокопроизводительных вычислений на тысячах графических процессоров. Для большего снижения задержек интерфейс EFA сочетается с NVIDIA GPUDirect RDMA, обеспечивая обмен данными между серверами графических процессоров с низкой задержкой в обход ОС.

Получите доступ к хранилищу с высокой пропускной способностью и низкой задержкой в петабайтах с помощью FSx для Lustre или практически неограниченному экономичному хранилищу Amazon S3 со скоростью 400 Гбит/с. Для рабочих нагрузок, которым требуется быстрый доступ к большим наборам данных, каждый инстанс P4d также включает твердотельный накопитель на основе NVMe емкостью 8 ТБ с пропускной способностью чтения 16 Гбит/с.

Инстансы P4d основаны на сервисе AWS Nitro System, который предлагает широкий выбор структурных блоков и позволяет использовать выделенное оборудование и программное обеспечение для выполнения многих традиционных задач виртуализации, что повышает производительность, доступность и безопасность при одновременном сокращении издержек, связанных с виртуализацией.

Amazon SageMaker — это полностью управляемый сервис для создания, обучения и развертывания моделей машинного обучения. При использовании этого сервиса совместно с инстансами P4d клиенты могут просто выполнять масштабирование рабочих нагрузок на десятки, сотни и тысячи графических процессоров для быстрого обучения моделей в любом масштабе, не беспокоясь о настройке кластеров и конвейеров обработки данных.

DLAMI предоставляет специалистам по машинному обучению и исследователям инфраструктуру и инструменты для ускорения DL в облаке в любом масштабе. Контейнеры глубокого обучения — это образы Docker, предустановленные вместе с фреймворками DL, которые упрощают быстрое развертывание пользовательских сред машинного обучения и позволяют избежать сложного процесса создания и оптимизации сред с нуля.

Если вы предпочитаете управлять собственными контейнерными рабочими нагрузками с помощью сервисов оркестрации контейнеров, вы можете развернуть инстансы P4d с помощью Amazon EKS или Amazon ECS.