Amazon SageMaker HyperPod prend désormais en charge la mise à l'échelle automatique à l'aide de Karpenter
Amazon SageMaker HyperPod prend désormais en charge la mise à l'échelle automatique des nœuds gérés à l'aide de Karpenter, ce qui permet aux clients de dimensionner automatiquement leurs clusters pour répondre aux exigences d'inférence dynamique et de formation. Les charges de travail d'inférence en temps réel nécessitent une mise à l'échelle automatique pour faire face aux modèles de trafic imprévisibles et maintenir les accords de niveau de service, tout en optimisant les coûts. Cependant, les entreprises sont souvent confrontées à la charge opérationnelle liée à l'installation, à la configuration et à la maintenance de solutions complexes de dimensionnement automatique. La mise à l'échelle automatique des nœuds gérée par Hyperpod élimine les tâches fastidieuses liées à la configuration et à la maintenance de Karpenter, tout en fournissant des fonctionnalités intégrées de résilience et de tolérance aux pannes.
La mise à l'échelle automatique sur HyperPod avec Karpenter permet aux clients de réaliser un provisionnement juste à temps qui adapte rapidement le calcul du GPU aux pics de trafic d'inférence. Les clients peuvent passer à zéro nœud pendant les périodes de faible demande sans devoir maintenir une infrastructure de contrôleur dédiée et bénéficier d'une sélection de nœuds tenant compte de la charge de travail qui optimise les types d'instances et les coûts. Pour les charges de travail d'inférence, cela permet une mise à l'échelle automatique de la capacité pour gérer les rafales de trafic de production, une réduction des coûts grâce à une consolidation intelligente des nœuds pendant les périodes d'inactivité et une intégration fluide à des autoscalers de pods pilotés par des événements tels que KEDA. Les charges de travail de formation bénéficient également de l'optimisation automatique des ressources pendant les cycles de développement des modèles. Vous pouvez activer la mise à l'échelle automatique sur HyperPod à l'aide de l'API UpdateCluster en réglant le mode AutoScaling sur « Activer » et le mode AutoscalerType sur « Karpenter ».
Cette fonctionnalité est disponible dans toutes les régions AWS où les clusters Amazon SageMaker HyperPod EKS sont pris en charge. Pour en savoir plus sur la mise à l'échelle automatique sur SageMaker HyperPod avec Karpenter, consultez le Guide de l'utilisateur et le blog.