Сервис AWS Batch теперь поддерживает управление квотами и упреждение для задач обучения SageMaker
Сервис AWS Batch теперь поддерживает управление квотами и упреждение для задач обучения SageMaker, что позволяет эффективно распределять вычислительные ресурсы при их совместном использовании несколькими командами для разных проектов. Если вы используете ресурсы графического процессора для задач обучения SageMaker, теперь вы сможете разумнее распределять вычислительные ресурсы, повышать приоритет задач, имеющих критическое значение для бизнеса, и автоматически приостанавливать выполнение менее значимой рабочей нагрузки при необходимости реализации срочных экспериментов.
Функция управления квотами позволяет создать до 20 квотных долей на одну очередь заданий. Эти доли действуют как отдельные виртуальные очереди с ограничением выделенных ресурсов и настраиваемой стратегией их совместного использования. Сервис автоматически использует принцип упреждения между долями, чтобы заимствовать ресурсы доли и восстанавливать их, если первоначальный владелец выдал задачу. Он также поддерживает режим упреждения внутри доли, предполагающий первоочередное выполнение более приоритетных задач в рамках одной доли. Вы можете отслеживать использование ресурсов на уровне очереди, квотной доли или задачи, изменять приоритетность задач после их отправки, от чего зависит решение об упреждении, и ограничивать количество упреждений, чтобы управлять работой сервиса. Эта функция напрямую интегрируется с SDK SageMaker для Python через модуль aws_batch.
Управление квотами и упреждение для задач обучения SageMaker теперь доступны во всех регионах AWS, где доступен AWS Batch. Дополнительные сведения см. в блокноте с примером использования функции управления квотами на GitHub и руководстве пользователя AWS Batch.