Инстансы Amazon EC2 P5
Инстансы на базе графических процессоров с высочайшей производительностью для приложений глубокого обучения и высокопроизводительных вычислений
Инстансы Эластичного облака вычислений Amazon (Amazon EC2) P5 на базе новейших графических процессоров NVIDIA H100 Tensor Core обеспечивают самую высокую производительность в Amazon EC2 для приложений глубокого обучения и высокопроизводительных вычислений. Они помогают сократить время создания решения до 4 раз по сравнению с инстансами EC2 на базе графических процессоров предыдущего поколения и снизить затраты на обучение моделей машинного обучения (экономия составит до 40 %). Инстансы P5 помогают ускорить внедрение решений и быстрее выходить на рынок. Инстансы P5 можно использовать для обучения и развертывания все более сложных больших языковых моделей (LLM) и моделей диффузии, лежащих в основе самых требовательных приложений генеративного искусственного интеллекта (ИИ). Эти приложения включают ответы на вопросы, генерацию кода, генерацию видео и изображений и распознавание речи. Инстансы P5 также можно использовать для развертывания требовательных масштабных HPC-приложений для фармацевтических исследований, сейсмического анализа, прогнозирования погоды и финансового моделирования.
Для повышения производительности и снижения затрат инстансы P5 дополняют графические процессоры NVIDIA H100 Tensor Core, обеспечивающие в 2 раза больше производительности процессора, в 2 раза больше системной памяти и в 4 раза больше локальной памяти по сравнению с инстансами на базе графических процессоров предыдущего поколения. Они предоставляют лучшие на рынке возможности масштабирования для распределенного обучения и тесно связанных рабочих нагрузок высокопроизводительных вычислений со скоростью до 3200 Гбит/с с использованием интерфейса эластичной матрицы второго поколения (EFAv2). Для обеспечения крупномасштабных вычислений с низкой задержкой инстансы P5 развертываются в сверхкрупных кластерах Amazon EC2 UltraClusters, которые позволяют масштабировать до 20 000 графических процессоров H100. Они связаны между собой в петабитную неблокирующуюся сеть. Инстансы P5 в сверхкрупных кластерах EC2 UltraClusters обеспечивают совокупную вычислительную мощность до 20 эксафлопс, что эквивалентно производительности суперкомпьютера.
Зарезервируйте инстансы P5 сейчас для использования в будущем
С помощью блоков ресурсов Amazon EC2 для машинного обучения можно легко резервировать инстансы P5 на несколько недель – до восьми – вперед. Инстансы P5 можно резервировать на срок от 1 до 14 дней в виде кластеров, которые могут включать от 1 до 64 инстансов (512 графических процессоров), что обеспечивает гибкость при выполнении широкого спектра рабочих нагрузок.
Преимущества
Обучение моделей с более 100 млрд параметров в любом масштабе
Инстансы P5 могут обучать сверхбольшие генеративные модели искусственного интеллекта в любом масштабе и обеспечивать до 4 раз большую производительность по сравнению с инстансами EC2 на базе графических процессоров предыдущего поколения.
Сокращение времени нахождения решения и ускорение итераций
Инстансы P5 сокращают время обучения и время на решение проблем с нескольких недель до нескольких дней. Это позволяет ускорить итерации и быстрее выходить на рынок.
Снижение затрат на инфраструктуру глубокого обучения и высокопроизводительные вычисления
Инстансы P5 позволяют сократить расходы на глубокое обучение и инфраструктуру высокопроизводительных вычислений до 40% по сравнению с инстансами EC2 предыдущего поколения на базе графических процессоров.
Распределенное обучение и высокопроизводительные вычисления с использованием эксафлопсных решений
Инстансы P5 обеспечивают пропускную способность сети EFAv2 до 3200 Гбит/с. Эти инстансы развернуты в сверхкрупных кластерах EC2 UltraClusters и обеспечивают совокупную вычислительную мощность 20 эксафлопс.
Возможности
Графические процессоры NVIDIA H100 Tensor Core
В инстансах P5 предусмотрено до 8 графических процессоров NVIDIA H100 с общим объемом памяти графического процессора HBM3 до 640 Гбайт на каждый инстанс. Инстансы P5 поддерживают соединение графических процессоров NVSwitch со скоростью до 900 Гбит/с (общая пропускная способность каждого инстанса составляет 3,6 ТБ/с), поэтому каждый графический процессор может взаимодействовать со всеми другими графическими процессорами в одном и том же инстансе с односкачковой задержкой.
Новый трансформируемый движок и инструкции DPX
Графические процессоры NVIDIA H100 оснащены новым трансформируемым движком, который интеллектуально управляет и динамически выбирает между FP8 и 16-битными вычислениями. Эта функция помогает ускорить глубокое обучение на больших языковых моделях (LLM) по сравнению с графическими процессорами A100 предыдущего поколения. Для рабочих нагрузок высокопроизводительных вычислений графические процессоры NVIDIA H100 содержат новые инструкции DPX, которые еще больше ускоряют алгоритмы динамического программирования по сравнению с графическими процессорами A100.
Высокопроизводительная сеть
Инстансы P5 обеспечивают пропускную способность сети EFAv2 до 3200 Гбит/с. EFAv2 обеспечивает повышение производительности коллективных связей для распределенных учебных рабочих нагрузок до 50%. EFAv2 также сочетается с NVIDIA GPUDirect RDMA, обеспечивая обмен данными между серверами графических процессоров с низкой задержкой в обход операционной системы.
Высокопроизводительное хранилище
Инстансы P5 поддерживают файловые системы Amazon FSx для Lustre, что позволяет получить доступ к данным с пропускной способностью в сотни Гбит/с и миллионами операций ввода-вывода в секунду, необходимых для крупномасштабных рабочих нагрузок глубокого обучения и высокопроизводительных вычислений. Каждый инстанс P5 также поддерживает локальное SSD-хранилище NVMe емкостью до 30 ТБ для быстрого доступа к большим наборам данных. Простой сервис хранения данных Amazon (Amazon S3) также позволяет использовать практически неограниченное экономичное хранилище.
Сверхкрупные кластеры EC2 второго поколения
Инстансы P5 развертываются в сверхкрупных кластерах EC2 UltraCluster второго поколения, которые представляют собой сетевую структуру, обеспечивающую большую масштабируемость, меньшее количество сетевых переходов в кластере и меньшую задержку по сравнению с сверхкрупными кластерами UltraClusters предыдущего поколения. Инстансы P5 в сверхкрупных кластерах UltraClusters могут масштабироваться до 20 000 графических процессоров H100, подключенных к петабитной сети, и обеспечивать совокупную вычислительную мощность 20 эксафлопс.
Эффективная интеграция с другими сервисами AWS
Инстансы P5 можно развертывать с помощью образов глубокого обучения AWS AMI (DLAMI) и контейнеров AWS для глубокого обучения. Они доступны через управляемые сервисы, такие как Amazon SageMaker, эластичный сервис Amazon Kubernetes (Amazon EKS), эластичный сервис контейнеров Amazon (Amazon ECS) (Amazon ECS), пакет AWS и другие.
Истории клиентов
Anthropic создает надежные, интерпретируемые и управляемые системы искусственного интеллекта, которые получат широкие возможности для создания коммерческой и общественной пользы.
«В Anthropic мы работаем над созданием надежных, интерпретируемых и управляемых систем искусственного интеллекта. Несмотря на то, что современные крупные системы искусственного интеллекта общего назначения могут иметь значительные преимущества, они также могут быть непредсказуемыми, ненадежными и непрозрачными. Наша цель — добиться прогресса в решении этих вопросов и внедрить системы, которые будут полезны людям. Наша организация — одна из немногих в мире, которая создает фундаментальные модели исследований глубокого обучения. Эти модели очень сложны, и для их разработки и обучения необходимо эффективно распределить их по большим кластерам графических процессоров. Сегодня мы активно используем инстансы Amazon EC2 P4 и с нетерпением ждем запуска инстансов P5. Мы рассчитываем, что они обеспечат существенные преимущества по сравнению с инстансами P4d и будут доступны в больших масштабах, необходимых для создания больших языковых моделей нового поколения и сопутствующих продуктов».
Том Браун, соучредитель Anthropic
Cohere, лидер в области языкового искусственного интеллекта, дает возможность каждому разработчику и предприятию создавать невероятные продукты с использованием ведущей в мире технологии обработки естественного языка (NLP), сохраняя при этом конфиденциальность и безопасность данных
«Cohere играет ведущую роль в том, чтобы помочь каждому предприятию использовать возможности языкового искусственного интеллекта для изучения, генерации, поиска и обработки информации естественным и интуитивно понятным способом, развертывая ее на нескольких облачных платформах в среде данных, наиболее подходящей для каждого клиента. Инстансы Amazon EC2 P5 на базе NVIDIA H100 позволят компаниям быстрее творить, расти и масштабироваться благодаря своим вычислительным мощностям в сочетании с передовыми возможностями больших языковых моделей Cohere и генеративным искусственным интеллектом».
Эйдан Гомес, генеральный директор Cohere
Миссия Hugging Face — демократизация качественного машинного обучения.
«Являясь самым быстрорастущим сообществом разработчиков ПО с открытым исходным кодом для машинного обучения, мы предоставляем более 150 000 предварительно обученных моделей и 25 000 наборов данных на нашей платформе для обработки естественного языка, машинного зрения, биологии, обучения с подкреплением и многого другого. Благодаря значительному прогрессу в области больших языковых моделей и генеративного искусственного интеллекта мы работаем с AWS над созданием и внедрением моделей будущего с открытым исходным кодом. Мы с нетерпением ждем возможности использования инстансов Amazon EC2 P5 через Amazon SageMaker в сверхкрупных кластерах UltraClusters с EFA в любом масштабе, чтобы ускорить разработку новых базовых моделей искусственного интеллекта для каждого».
Жюльен Шомонд, технический директор и соучредитель Hugging Face
Сведения о продукте
| Размер инстанса | Виртуальные ЦПУ | Память инстанса (ТиБ) | Графический процессор - H100 | Память графического процессора | Пропускная способность сети | GPUDirectRDMA | Одноранговая связь графических процессоров | Хранилище инстансов (ТБ) | Пропускная способность EBS (Гбит/с) |
p5.48xlarge |
192 |
2 |
8 |
HBM3 со скоростью 640 ГБ |
EFAv2 со скоростью 3200 Гбит/с |
Да |
NVSwitch 900 ГБ/с |
8 × 3.84 SSD на базе NVMe |
80 |
* Цены указаны для инстансов с Linux/Unix в регионе AWS Восток США (Северная Вирджиния) с округлением до цента. Полные сведения о ценах см. на странице цен на Amazon EC2.
Начало работы с инстансами P5 для машинного обучения
Использование SageMaker
SageMaker – полностью управляемый сервис для создания, обучения и развертывания моделей машинного обучения. При использовании этого сервиса совместно с инстансами P5 можно с легкостью выполнять масштабирование рабочих нагрузок на десятки, сотни и тысячи графических процессоров для быстрого обучения моделей в любом масштабе, не беспокоясь о настройке кластеров и конвейеров обработки данных.
Использование образов DLAMI или контейнеров глубокого обучения
Образы DLAMI предоставляют специалистам по машинному обучению и ученым инфраструктуру и инструменты для ускорения глубокого обучения в облаке в любых масштабах. Контейнеры глубокого обучения – это образы Docker, на которые предварительно установлены платформы глубокого обучения, чтобы упростить процесс развертывания специальных сред машинного обучения. Они позволяют избежать сложного процесса создания и оптимизации сред машинного обучения.
Начало работы с инстансами P5 для высокопроизводительных вычислений
Инстансы P5 – идеальная платформа для инженерного моделирования, финансовых вычислений, сейсмического анализа, молекулярного моделирования, геномики, рендеринга и прочих рабочих нагрузок высокопроизводительных вычислений, требующих наличия графического процессора. Для работы HPC‑приложений часто требуется высокая производительность сети, хранилище с высокой скоростью чтения и записи, большая емкость памяти, огромные вычислительные мощности либо все эти ресурсы одновременно. Инстансы P5 поддерживают EFAv2, что позволяет HPC‑приложениям, использующим интерфейс передачи сообщений (MPI), масштабироваться до тысяч графических процессоров. Пакет AWS и AWS ParallelCluster помогают разработчикам высокопроизводительных вычислений быстро создавать и масштабировать распределенные приложения для высокопроизводительных вычислений.
Подробнее »
Начало работы с AWS
Обучение с помощью 10-минутных учебных пособий
Знакомьтесь с сервисами и учитесь с помощью простых учебных пособий.
Начать разработку в консоли
Начните разработку и запустите собственный проект в AWS с помощью пошаговых руководств.