Amazon SageMaker HyperPod теперь поддерживает топологию на уровне разделов для кластеров с оркестрацией Slurm
Amazon SageMaker HyperPod теперь поддерживает топологию сети на уровне разделов для кластеров с оркестрацией Slurm. Теперь один кластер может использовать древовидную топологию в одном разделе и блочную топологию в другом, при этом каждый раздел использует топологию, наиболее подходящую для его типов инстансов. Это повышает производительность распределенного обучения, поскольку размещение задач остается согласованным с характеристиками межсоединений каждого типа инстансов, что позволяет ускорить обмен данными между графическими процессорами, повысить эффективность коллективных операций NCCL и улучшить пропускную способность при обучении.
HyperPod определяет топологию каждого раздела на основе типов инстансов групп вычислительных инстансов. Разделы с типами инстансов Amazon EC2 UltraServer, такими как ml.p6e-gb200.36xlarge, используют блочную топологию, а разделы с типами инстансов с иерархическими межсоединениями, такими как ml.p5.48xlarge, ml.p5e.48xlarge и ml.p5en.48xlarge, используют древовидную топологию, в то время как разделы с типами инстансов, которые не предоставляют информацию о топологии сети, остаются полностью доступными для планирования. HyperPod автоматически сохраняет эту конфигурацию при изменении кластера в результате событий вертикального увеличения и уменьшения масштаба и замены узлов, поэтому топология каждого раздела всегда отражает текущее состояние кластера.
Для начала работы создайте или обновите кластер SageMaker HyperPod под управлением Slurm 25.11 или более поздней версии с поддерживаемыми типами инстансов на основе графических процессоров. Планирование с учетом топологии включено по умолчанию и не требует настройки. Эта функция доступна во всех регионах AWS, в которых поддерживается Amazon SageMaker HyperPod. Дополнительные сведения см. в разделе Использование планирования с учетом топологии в Amazon SageMaker HyperPod.