Amazon SageMaker HyperPod agora oferece suporte à Multi-Instance GPU (MIG) da NVIDIA para tarefas de IA generativa
O Amazon SageMaker HyperPod agora oferece suporte à tecnologia Multi-Instance GPU (MIG) da NVIDIA, permitindo que os administradores particionem uma única GPU em várias GPUs isoladas. Esse recurso permite que os administradores maximizem a utilização de recursos executando tarefas diversas e pequenas de IA generativa (GenAI) simultaneamente em partições de GPU, mantendo a performance e o isolamento de tarefas.
Os administradores podem escolher a configuração fácil de usar no console do SageMaker HyperPod ou uma abordagem de configuração personalizada para habilitar recursos refinados e isolados de hardware para requisitos específicos de tarefas que não exigem capacidade total da GPU. Eles também podem alocar cotas de computação para garantir uma distribuição justa e eficiente das partições de GPU entre as equipes. Com métricas de performance em tempo real e painel de monitoramento da utilização de recursos em partições de GPU, os administradores ganham visibilidade para otimizar a alocação de recursos. Agora, os cientistas de dados podem acelerar o tempo de comercialização ao programar tarefas leves de inferência e executar cadernos interativos em paralelo nas partições da GPU, eliminando os tempos de espera pela disponibilidade total da GPU.
Atualmente, esse recurso está disponível para clusters do Amazon SageMaker HyperPod que usam o orquestrador do EKS nas seguintes regiões da AWS: Oeste dos EUA (Oregon), Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (N. da Califórnia), Canadá (Central), América do Sul (São Paulo), Europa (Estocolmo), Europa (Espanha), Europa (Irlanda), Europa (Frankfurt), Europa (Londres), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Jacarta), Ásia-Pacífico (Melbourne), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Sydney), Ásia-Pacífico (Seul), Ásia-Pacífico (Singapura).
Para saber mais, acesse a página do SageMaker HyperPod e a documentação do SageMaker HyperPod.