Сервис параллельных вычислений AWS теперь поддерживает плагины SPANK для Slurm
Сегодня AWS объявляет о том, что Сервис параллельных вычислений AWS (AWS PCS) теперь поддерживает плагины на основе SPANK (архитектуры плагинов Slurm для контроля над узлами и заданиями), что позволяет расширять и изменять методы планирования и обработки рабочих нагрузок высокопроизводительных вычислений (HPC) в Slurm без необходимости вносить изменения в Slurm напрямую.
Используя плагины SPANK, теперь можно интегрировать AWS PCS с контейнерными технологиями, реализовать настраиваемый мониторинг памяти и шаблонов ввода-вывода, а также динамически изменять запуски заданий для более эффективного управления ресурсами. Например, можно использовать плагины Enroot и Pyxis для удобного запуска контейнерных рабочих нагрузок машинного обучения и высокопроизводительных вычислений на основе образов из Эластичного реестра контейнеров Amazon, Docker Hub, NVIDIA NGC и других реестров контейнеров.
Данная функция доступна во всех регионах AWS, где предлагается AWS PCS. Плагины SPANK можно устанавливать и настраивать в образах машин Amazon (AMI), которые используются на вычислительных узлах AWS PCS. Плагины будут динамически загружаться во время выполнения при запуске заданий, что позволяет расширять функциональность Slurm с минимальными усилиями.
Подробнее об использовании плагинов SPANK в AWS PCS см. в руководстве пользователя AWS PCS.