SageMaker HyperPod supporta ora la condivisione delle risorse inattive per l'utilizzo dinamico dei cluster
La governance delle attività di Amazon SageMaker HyperPod supporta ora la condivisione dinamica delle risorse, consentendo ai team di prendere in prestito capacità di calcolo non allocata nei cluster HyperPod oltre le quote garantite. Gli amministratori possono inoltre configurare limiti di prestito per tipi di risorse specifici, come acceleratori, vCPU o memoria, per garantire una distribuzione equa tra i team.
Gli amministratori che gestiscono cluster di calcolo condivisi per carichi di lavoro di IA generativa affrontano spesso sfide legate al sottoutilizzo. Quando i data scientist non consumano interamente le quote loro allocate, costose istanze di calcolo rimangono inattive. La condivisione delle risorse inattive risolve questo problema identificando automaticamente la capacità del cluster non allocata e rendendola disponibile per il prestito da parte dei team con il massimo impegno. La governance delle attività di HyperPod monitora lo stato del cluster e ricalcola automaticamente le risorse in prestito in caso di variazione delle istanze e delle policy sulle quote di calcolo, eliminando la configurazione manuale. Le istanze idonee che si trovano in uno stato pronto e pianificabile, incluse le istanze con configurazioni GPU partizionate, contribuiscono al pool in prestito di capacità di calcolo non allocata. Gli amministratori possono inoltre definire limiti di prestito assoluti, in aggiunta ai limiti basati su percentuali di calcolo inattivo. Ciò aiuta gli amministratori a massimizzare l'utilizzo del calcolo e a mantenere un controllo granulare su come la capacità inattiva viene distribuita tra i team, garantendo al contempo l'isolamento della quota di calcolo garantita per ogni team.
Questa funzionalità è attualmente disponibile per i cluster Amazon SageMaker HyperPod che utilizzano l'orchestratore EKS nelle seguenti regioni AWS: Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), Stati Uniti occidentali (California settentrionale), Stati Uniti occidentali (Oregon), Asia Pacifico (Mumbai), Asia Pacifico (Singapore), Asia Pacifico (Sydney), Asia Pacifico (Tokyo), Asia Pacifico (Giacarta), Europa (Francoforte), Europa (Irlanda), Europa (Londra), Europa (Stoccolma), Europa (Spagna) e Sud America (San Paolo).
Per saperne di più, consulta la pagina web di SageMaker HyperPod e la documentazione sulla governance delle attività di HyperPod.