Amazon SageMaker HyperPod теперь поддерживает глубокие проверки работоспособности кластеров Slurm с непрерывным выделением ресурсов
Amazon SageMaker HyperPod теперь поддерживает углубленную проверку работоспособности для кластеров, оркестрированных с помощью Slurm, созданных с непрерывным автоматическим созданием и обновлением узлов, что позволяет в любой момент заблаговременно проверить работоспособность ускорителя графического процессора на запущенных инстансах. Непрерывное выделение ресурсов позволяет быстро начать обучение и асинхронно масштабировать группы инстансов без сбоев по принципу «все или ничего». Теперь вы можете сочетать эту гибкость с комплексной проверкой оборудования по мере подключения инстансов к сети. Эта возможность предотвращает возникновение критических проблем, связанных с тем, что даже один неисправный узел способен потратить много часов вычислительного времени и затормозить важнейшие рабочие нагрузки.
Благодаря углубленной проверке работоспособности можно настроить проведение комплексных стресс-тестов оборудования и подключения для отдельных инстансов или целых групп, прежде чем выделять вычислительные ресурсы для выполнения заданий. Поскольку при непрерывном выделении ресурсов рабочие узлы добавляются в кластер Slurm асинхронно по мере поступления ресурсов, вы можете проводить тщательные проверки работоспособности каждого нового узла по мере его подключения к сети, проверять оборудование перед планированием заданий на нем и не прерывать рабочие нагрузки, уже запущенные на исправных узлах. Прогресс и результаты на уровне отдельных инстансов и групп инстансов отображаются в консоли SageMaker и доступны через API, что обеспечивает полное представление о состоянии графического процессора и сетевого подключения, а также о производительности связи между несколькими узлами. Во время проверки инстансы автоматически изолируются от планирования рабочих нагрузок и возвращаются в эксплуатацию после ее успешного завершения. При использовании в сочетании с функцией автоматического восстановления узлов HyperPod инстансы, не прошедшие проверку, автоматически перезагружаются или заменяются, что гарантирует работоспособность кластера.
Эта возможность доступна во всех регионах, где доступен сервис Amazon SageMaker HyperPod. Подробнее о глубоких проверках работоспособности по запросу и непрерывном выделении ресурсов см. в руководстве пользователя Amazon SageMaker HyperPod.