SageMaker HyperPod теперь поддерживает детальное распределение квот вычислительных ресурсов
Управление задачами SageMaker HyperPod теперь поддерживает детальное распределение квот вычислительных ресурсов для графических процессоров (GPU), ускорителей Trainium, виртуальных ЦП (vCPU) и их памяти на инстансе. Администраторы могут точно и оптимально распределять квоты вычислительных ресурсов между отделами, не выходя за рамки бюджета.
Специалисты по обработке данных часто запускают задачи для больших языковых моделей (LLM), такие как обучение или логический вывод, для которых не требуются использовать все ресурсы инстансов HyperPod, из-за чего вычислительные ресурсы с ускорением задействуются не в полном объеме. Управление задачами HyperPod позволяет администраторам контролировать распределение квот вычислительных ресурсов между командами специалистов. Благодаря этой возможности администраторы теперь могут распределять вычислительные ресурсы стратегически, обеспечивая к ним доступ по мере потребностей, предотвращая их монополизацию и максимизируя использование кластера. Распределять квоты вычислительных ресурсов можно не только на уровне инстансов, но и на более детальном уровне в соответствии с потребностями рабочих нагрузок организации.
Управление задачами SageMaker HyperPod доступно во всех регионах AWS, где предлагается HyperPod: Восток США (Северная Вирджиния), Запад США (Северная Калифорния, Орегон), Азиатско-Тихоокеанский регион (Мумбаи, Сингапур, Сидней, Токио), Европа (Франкфурт, Ирландия, Лондон, Стокгольм) и Южная Америка (Сан-Паулу).
Дополнительные сведения см. на веб-странице SageMaker HyperPod и в документации по управлению задачами HyperPod.