Amazon SageMaker HyperPod теперь поддерживает настраиваемые метки и ограничения Kubernetes
Amazon SageMaker HyperPod теперь поддерживает настраиваемые метки и ограничения (taints) Kubernetes, что позволяет клиентам контролировать планирование модулей и легко интегрироваться с существующей инфраструктурой Kubernetes. При развертывании рабочих нагрузок ИИ в управляемых EKS кластерах HyperPod требуется точный контроль над размещением рабочих нагрузок, чтобы дорогостоящие ресурсы графических процессоров потреблялись именно рабочими нагрузками ИИ, а не системными подами. Кроме того, необходимо обеспечить совместимость с пользовательскими плагинами устройств, такими как EFA и операторы NVIDIA GPU. Раньше метки и ограничения (taints) приходилось вручную назначать через kubectl и переназначать после каждой операции замены, масштабирования узлов или установки исправлений, что вызывало значительные операционные издержки.
Новая функция позволяет настраивать метки и ограничения на уровне группы инстансов через API CreateCluster и UpdateCluster, обеспечивая управляемый подход к определению и поддержке политик планирования на протяжении всего жизненного цикла узла. С помощью нового параметра KubernetesConfig, можно указать до 50 меток и 50 ограничений на группу инстансов. Метки обеспечивают организацию ресурсов и выбора узлов для подов через селекторы, тогда как ограничения предотвращают размещение подов, не имеющих допуска, на защищенных специализированных узлах. Например, вы можете применить ограничения NoSchedule к группам инстансов с GPU, чтобы дорогостоящие вычислительные ресурсы потреблялись только задачами обучения ИИ с явными допусками, или добавить пользовательские метки для корректного планирования подов плагинов устройств. HyperPod автоматически применяет эти конфигурации при создании узлов и обеспечивает их действие после операций замены, масштабирования и установки исправлений, устраняя необходимость ручного вмешательства и снижая эксплуатационные издержки.
Эта функция доступна во всех регионах AWS, где предоставляется Amazon SageMaker HyperPod. Подробнее о настраиваемых этикетках и ограничениях читайте в руководстве пользователя.