Amazon SageMaker HyperPod теперь поддерживает технологию NVIDIA Multi-Instance GPU (MIG) для задач генеративного искусственного интеллекта
Amazon SageMaker HyperPod теперь поддерживает технологию NVIDIA Multi-Instance GPU (MIG). С ее помощью администраторы могут разделять один графический процессор на несколько изолированных. Это позволяет повысить эффективность использования ресурсов за счет параллельного запуска разнообразных небольших задач генеративного ИИ (GenAI) в разделах графического процессора, поддерживая при этом необходимую производительность и изоляцию задач.
Администраторы могут воспользоваться легкой настройкой конфигурации в консоли SageMaker HyperPod или задать ее самостоятельно для точечного выделения аппаратно-изолированных ресурсов конкретным задачам, которым не нужна вся емкость графического процессора. Они также могут выделять квоты на вычислительные ресурсы для справедливого и эффективного распределения разделов графического процессора между командами. Благодаря доступу к обновляющимся в режиме реального времени метрикам производительности и панелям мониторинга использования ресурсов по всем разделам графических процессоров у администраторов есть необходимые данные для оптимизации распределения ресурсов. Теперь исследователи данных могут быстрее поставлять ценные сведения, параллельно планируя не требовательные к ресурсам задачи вывода и запуская интерактивные ноутбуки в разделах графического процессора, не дожидаясь его полной доступности.
В данный момент эта возможность доступна для кластеров Amazon SageMaker HyperPod, использующих оркестратор EKS, в следующих регионах AWS: Запад США (Орегон, Северная Калифорния), Восток США (Северная Вирджиния, Огайо), Канада (Центральная), Южная Америка (Сан-Паулу), Европа (Стокгольм, Испания, Ирландия, Франкфурт, Лондон), Азиатско-Тихоокеанский регион (Мумбаи, Джакарта, Мельбурн, Токио, Сидней, Сеул, Сингапур).
Дополнительные сведения см. на веб-странице и в документации SageMaker HyperPod.