SageMaker HyperPod já oferece suporte ao agendamento de tarefas de LLMs considerando a topologia
Agora, a governança de tarefas do SageMaker HyperPod oferece suporte ao Topology Aware Scheduling (TAS), permitindo que cientistas de dados agendem tarefas de grandes modelos de linguagem (LLMs) em uma topologia de rede ideal que minimiza a comunicação de rede e melhora a eficiência do treinamento.
Muitas vezes, as tarefas de treinamento e ajuste fino de LLMs distribuídas em várias instâncias de computação acelerada trocam grandes volumes de dados entre elas. Os vários saltos de rede entre as instâncias podem resultar em maior latência de comunicação, afetando a performance das tarefas de LLM. A governança de tarefas do SageMaker HyperPod já permite que cientistas de dados usem informações de topologia de rede para agendar tarefas com preferências de topologia específicas. Usando a topologia de rede no HyperPod, a governança de tarefas do SageMaker HyperPod agenda automaticamente as tarefas em locais ideais, reduzindo a comunicação entre instâncias e aprimorando a eficiência do treinamento.
A governança de tarefas do SageMaker HyperPod está disponível em todas as regiões da AWS que oferecem o HyperPod: Oeste dos EUA (N. da Califórnia), Oeste dos EUA (Oregon), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney), Europa (Frankfurt), Europa (Irlanda), Europa (Estocolmo).
Para saber mais, acesse a página do SageMaker HyperPod e a documentação de governança de tarefas do SageMaker HyperPod.