Amazon SageMaker HyperPod prend désormais en charge les étiquettes et les rejets Kubernetes personnalisés
Amazon SageMaker HyperPod prend désormais en charge les étiquettes et les rejets Kubernetes personnalisés, ce qui permet aux clients de contrôler la planification des pods et de s'intégrer parfaitement à l'infrastructure Kubernetes existante. Les clients déployant des charges de travail d'IA sur des clusters HyperPod orchestrés avec EKS ont besoin d'un contrôle précis du placement des charges de travail afin d'éviter que des ressources GPU coûteuses ne soient consommées par les pods système et les charges de travail non basées sur l'IA, tout en garantissant la compatibilité avec les plug-ins d'appareils personnalisés tels que les opérateurs GPU EFA et NVIDIA. Auparavant, les clients devaient appliquer manuellement des étiquettes et des entailles à l'aide de kubectl puis les appliquer à nouveau après chaque opération de remplacement, de mise à l'échelle ou d'application de correctifs, ce qui entraînait une charge opérationnelle importante.
Cette fonctionnalité vous permet de configurer des étiquettes et des rejets au niveau du groupe d'instances via les API CreateCluster et UpdateCluster, ce qui constitue une approche gérée pour définir et gérer des stratégies de planification tout au long du cycle de vie des nœuds. Grâce au nouveau paramètre KubernetesConfig, vous pouvez spécifier jusqu'à 50 étiquettes et 50 rejets par groupe d'instances. Les étiquettes permettent d'organiser les ressources et de cibler les pods via des sélecteurs de nœuds, tandis que les contaminations repoussent les pods sans respecter les tolérances pour protéger les nœuds spécialisés. Par exemple, vous pouvez appliquer des rejets NoSchedule à des groupes d'instances GPU pour vous assurer que seules les tâches d'entraînement de l'IA avec des tolérances explicites consomment des ressources de calcul coûteuses, ou ajouter des étiquettes personnalisées qui permettent aux pods de plug-in de l'appareil de procéder correctement à la planification. HyperPod applique automatiquement ces configurations lors de la création des nœuds et les gère lors des opérations de remplacement, de mise à l'échelle et de correction, éliminant ainsi les interventions manuelles et réduisant les frais opérationnels.
Cette fonctionnalité est disponible dans toutes les régions AWS dans lesquelles Amazon SageMaker HyperPod est disponible. Pour en savoir plus sur les étiquettes et les rejets personnalisés, consultez le Guide de l'utilisateur.