SageMaker HyperPod já oferece compartilhamento de recursos inativos para utilização dinâmica de clusters
Agora, a governança de tarefas do Amazon SageMaker HyperPod oferece o compartilhamento dinâmico de recursos, permitindo que as equipes emprestem capacidade computacional não alocada em clusters do HyperPod além das cotas garantidas. Os administradores também podem configurar limites de empréstimo para tipos específicos de recursos, como aceleradores, vCPUs ou memória, para garantir uma distribuição justa entre as equipes.
Os administradores que executam clusters de computação compartilhados para workloads de IA generativa costumam enfrentar desafios de subutilização. Quando os cientistas de dados não consomem todas as cotas alocadas para instâncias de computação de alto custo, elas permanecem inativas. O compartilhamento de recursos inativos resolve essa questão identificando e disponibilizando automaticamente a capacidade não alocada dos clusters para que as equipes possam fazer os empréstimos da melhor forma possível. A governança de tarefas do HyperPod monitora o estado do cluster e recalcula automaticamente os recursos que podem ser emprestados quando políticas de cotas de instâncias e computação mudam, eliminando a configuração manual. As instâncias qualificadas em estado pronto e agendável, incluindo aquelas com configurações de GPU particionada, passam a compor o grupo de capacidade de computação não alocada disponível para empréstimo. Além dos limites de empréstimo baseados em porcentagem da computação ociosa, os administradores também podem definir limites absolutos de empréstimo. Esse recurso ajuda os administradores a maximizar a utilização da computação e a manter um controle detalhado sobre a distribuição da capacidade ociosa entre as equipes, além de garantir o isolamento da cota de computação de cada equipe.
Atualmente, esse recurso está disponível para clusters do Amazon SageMaker HyperPod que usam o orquestrador do EKS nas seguintes regiões da AWS: Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (N. da Califórnia), Oeste dos EUA (Oregon), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Jacarta), Europa (Frankfurt), Europa (Irlanda), Europa (Londres), Europa (Estocolmo), Europa (Espanha) e América do Sul (São Paulo).
Para saber mais, acesse a página do SageMaker HyperPod e a documentação de governança de tarefas do HyperPod.