Amazon SageMaker HyperPod ahora admite el ajuste de escala automático con Karpenter
Amazon SageMaker HyperPod ahora admite el escalado automático de nodos gestionados mediante Karpenter, lo que permite a los clientes escalar automáticamente sus clústeres para cumplir con las demandas dinámicas de inferencia y formación. Las cargas de trabajo de inferencia en tiempo real requieren un escalado automático para abordar patrones de tráfico impredecibles y mantener los acuerdos de nivel de servicio, al tiempo que se optimizan los costos. Sin embargo, las organizaciones suelen tener dificultades con la sobrecarga operativa que supone instalar, configurar y mantener soluciones complejas de escalado automático. El escalado automático de nodos gestionado por HyperPod elimina la pesada carga indiferenciada de la configuración y el mantenimiento de Karpenter, al tiempo que proporciona capacidades integradas de resiliencia y tolerancia a errores.
El escalado automático en HyperPod con Karpenter permite a los clientes lograr una provisión “justo a tiempo” que adapta rápidamente los recursos de GPU para los picos de tráfico de inferencia. Los clientes pueden escalar a cero nodos durante los períodos de baja demanda sin mantener una infraestructura de controladora dedicada y beneficiarse de una selección de nodos que tenga en cuenta la carga de trabajo y que optimiza los tipos de instancias y los costos. Para las cargas de trabajo de inferencia, esto proporciona un escalado automático de la capacidad para gestionar las ráfagas de tráfico de producción, una reducción de costos mediante la consolidación inteligente de nodos durante los períodos de inactividad y una integración perfecta con escaladores automáticos de módulos basados en eventos, como KEDA. Las cargas de trabajo de entrenamiento también se benefician de la optimización automática de los recursos durante los ciclos de desarrollo de modelos. Puede habilitar el ajuste de escala automático en HyperPod mediante la API UpdateCluster con el modo AutoScaling establecido en “Habilitar” y AutoScalerType establecido en “Karpenter”.
Esta característica está disponible en todas las regiones de AWS en las que se admiten los clústeres de EKS de Amazon SageMaker HyperPod. Para obtener más información sobre el ajuste de escala automático en SageMaker HyperPod con Karpenter, consulte la guía del usuario y el blog.