Amazon SageMaker HyperPod теперь поддерживает гибкие группы инстансов
Amazon SageMaker HyperPod теперь поддерживает гибкие группы инстансов, что позволяет клиентам указывать несколько типов инстансов и несколько подсетей в одной группе инстансов. Для обеспечения устойчивости емкости, оптимизации затрат и использования подсетей клиентам, выполняющим обучающие и аналитические рабочие нагрузки на HyperPod, часто приходится использовать инстансы разных типов и зоны доступности. Ранее им приходилось создавать отдельную группу инстансов и управлять ею для каждого типа инстансов и комбинации зон доступности, что приводило к эксплуатационным издержкам при настройке кластера, масштабировании, установке исправлений и мониторинге.
Благодаря гибким группам инстансов с помощью нового параметра InstanceRequirements можно определить упорядоченный список типов инстансов и создать несколько подсетей в разных зонах доступности в одной группе инстансов. HyperPod сначала выделяет инстансы, использующие тип с наивысшим приоритетом, а при отсутствии емкости автоматически возвращается к типам с более низким приоритетом, что избавляет клиентов от необходимости вручную повторять попытки в отдельных группах инстансов. Клиенты, выполняющие обучение моделей, могут получить пользу от распределения по нескольким подсетям в зоне доступности, чтобы избежать исчерпания подсетей. Клиенты, выполняющие вывод и масштабирование вручную, получают автоматическое переключение на менее приоритетные типы инстансов без необходимости повторять попытки для каждой группы инстансов отдельно. А те, кто использует автомасштабирование Karpenter, могут ссылаться на одну гибкую группу инстансов. Karpenter автоматически обнаруживает поддерживаемые типы инстансов из гибкой группы инстансов и подготавливает оптимальный тип и зону доступности в соответствии с требованиями пода. Можно создавать гибкие группы инстансов с помощью API CreateCluster и UpdateCluster, интерфейса командной строки AWS или Консоли управления AWS.
Гибкие группы инстансов доступны для кластеров SageMaker HyperPod с использованием оркестратора EKS во всех регионах AWS, в которых поддерживается SageMaker HyperPod. Дополнительные сведения см. в разделе Гибкие группы инстансов.