Готовый AMI-образ для глубокого обучения в AWS PCS
Сервис параллельных вычислений AWS (AWS PCS) сегодня запускает образ машины Amazon для глубокого обучения (DLAMI) с полной поддержкой этого сервиса, который обслуживается AWS и создан на основе AMI-образа Deep Learning Base GPU (Ubuntu 24.04). Этот образ предоставляет платформу производственного уровня для искусственного интеллекта, машинного обучения и высокопроизводительных вычислений с базовыми компонентами инфраструктуры, которые уже установлены и протестированы на совместимость.
AWS PCS – это управляемый сервис, который позволяет вам легче запускать и масштабировать рабочие нагрузки HPC, чтобы создавать научные и инженерные модели на AWS с помощью Slurm. AWS PCS можно использовать для создания полнофункциональных эластичных сред, в которых объединены вычислительные ресурсы, хранилища, сети и инструменты визуализации. AWS PCS упрощает операции с кластерами благодаря управляемым обновлениям и встроенным функциям наблюдаемости, что помогает снизить затраты на обслуживание. Вы можете работать в привычной среде, сосредоточившись на исследованиях и инновациях без отвлечения на инфраструктуру.
Этот AMI-образ наследует операционную систему, драйверы графических процессоров NVIDIA, инструментарий CUDA, драйверы интерфейса эластичной матрицы (EFA) и клиент Lustre от исходного AMI-образа Deep Learning Base GPU, добавляя к ним агент PCS, Slurm для PCS и утилиты Elastic File System (EFS). В образ включено несколько поддерживаемых версий Slurm, и подходящая версия активируется автоматически в зависимости от конфигурации кластера. В дополнение к среде можно добавить платформы, библиотеки и программные приложения. AWS регулярно выпускает обновленные AMI при обновлении исходных DLAMI или компонентов PCS, постоянно предоставляя исправления системы безопасности и обновления драйверов.
Образ DLAMI с поддержкой сервиса AWS PCS доступен для архитектур x86_64 и arm64 без дополнительной платы во всех регионах AWS, где доступен этот сервис. Для начала укажите поддерживающий PCS образ AMI при настройке групп вычислительных узлов. Дополнительные сведения см. в разделе Использование DLAMI с поддержкой PCS из Руководства пользователя AWS PCS. Эталонная архитектура кластеров, использующая DLAMI с поддержкой PCS, представлена в репозитории awsome-distributed-ai на GitHub.