Amazon SageMaker HyperPod ora supporta il dimensionamento automatico con Karpenter
Amazon SageMaker HyperPod ora supporta il dimensionamento automatico dei nodi gestito con Karpenter, consentendo ai clienti di scalare automaticamente i cluster per soddisfare le esigenze dinamiche di inferenza e formazione. I carichi di lavoro di inferenza in tempo reale richiedono un dimensionamento automatico per gestire i modelli di traffico imprevedibili e rispettare gli accordi sul livello di servizio (SLA), ottimizzando al tempo stesso i costi. Tuttavia, molte organizzazioni faticano a gestire il carico operativo derivante da installazione, configurazione e manutenzione di soluzioni di dimensionamento automatico complesse. Il dimensionamento automatico dei nodi gestito da HyperPod elimina il lavoro non differenziante della configurazione e della manutenzione di Karpenter, offrendo al contempo resilienza e tolleranza ai guasti integrate.
Grazie a Karpenter, i clienti possono ottenere provisioning just-in-time che adatta rapidamente le GPU ai picchi di traffico di inferenza. È possibile scalare a zero nodi nei periodi di bassa domanda senza mantenere un'infrastruttura di controller dedicata, beneficiando anche della selezione dei nodi basata sui carichi di lavoro, che ottimizza i tipi di istanza e i costi. Per i carichi di lavoro di inferenza, ciò significa scalabilità automatica per gestire picchi di traffico in produzione, riduzione dei costi tramite consolidamento intelligente dei nodi durante i periodi di inattività e integrazione con autoscaler di pod basati su eventi come KEDA. Anche i carichi di lavoro di formazione beneficiano dell'ottimizzazione automatica delle risorse durante i cicli di sviluppo dei modelli. È possibile abilitare il dimensionamento automatico su HyperPod utilizzando l'API UpdateCluster, con la modalità AutoScaling impostata su "Abilita" e AutoScalerType impostato su "Karpenter".
Questa funzionalità è disponibile in tutte le Regioni AWS in cui sono supportati i cluster EKS di Amazon SageMaker HyperPod. Per ulteriori informazioni sul dimensionamento automatico su SageMaker HyperPod con Karpenter, consulta la guida per l'utente e il blog.