Amazon SageMaker HyperPod já oferece suporte ao ajuste de escala automático usando o Karpenter
Agora, o Amazon SageMaker HyperPod oferece suporte ao ajuste de escala automático de nós gerenciados usando o Karpenter. Com o novo recurso, os clientes podem escalar automaticamente seus clusters para atender às demandas dinâmicas de inferência e treinamento. As workloads de inferência em tempo real exigem ajuste de escala automático para lidar com padrões de tráfego imprevisíveis e cumprir contratos de nível de serviço, ao mesmo tempo que otimizam os custos. No entanto, as organizações muitas vezes enfrentam a sobrecarga operacional de instalar, configurar e manter soluções complexas de ajuste de escala automático. O ajuste de escala automático de nós gerenciado pelo HyperPod elimina o trabalho pesado e repetitivo de configurar e manter o Karpenter, além de fornecer recursos integrados de resiliência e tolerância a falhas.
Usando o ajuste de escala automático no HyperPod com o Karpenter, os clientes contam com um provisionamento just-in-time que adapta rapidamente a computação de GPU de acordo com picos de tráfego de inferência. Os clientes podem escalar para zero nós durante períodos de baixa demanda, sem manter uma infraestrutura de controlador dedicada, e se beneficiar da seleção de nós com o contexto de workloads que otimiza os tipos e os custos das instâncias. Para workloads de inferência, esse recurso oferece escalabilidade automática da capacidade para lidar com picos de tráfego de produção, redução de custos por meio da consolidação inteligente de nós durante períodos de inatividade e integração direta com ferramentas de escalabilidade automática de pods orientados por eventos, como o KEDA. As workloads de treinamento também se beneficiam da otimização automática de recursos durante os ciclos de desenvolvimento do modelo. Você pode ativar o ajuste de escala automático no HyperPod usando a API UpdateCluster com o modo AutoScaling definido como “Ativar” e o AutoScalerType definido como “Karpenter”.
Esse recurso está disponível em todas as regiões da AWS com suporte para os clusters de EKS do Amazon SageMaker HyperPod. Para saber mais sobre ajuste de escala automático no SageMaker HyperPod com o Karpenter, consulte o Guia do usuário e o blog.