Amazon SageMaker HyperPod agora oferece suporte a grupos flexíveis de instâncias
O Amazon SageMaker HyperPod agora oferece suporte a grupos flexíveis de instâncias, o que permite aos clientes especificar vários tipos de instância e várias sub-redes em um único grupo de instâncias. Os clientes que executam workloads de treinamento e inferência no HyperPod frequentemente precisam abranger vários tipos de instâncias e zonas de disponibilidade para garantir resiliência de capacidade, otimização de custos e melhor utilização de sub-redes. No entanto, anteriormente era preciso criar e gerenciar um grupo de instâncias separado para cada combinação de tipo de instância e zona de disponibilidade, o que resultava em sobrecarga operacional em áreas como configuração do cluster, escalabilidade, aplicação de patches e monitoramento.
Com os grupos flexíveis de instâncias, você pode definir uma lista ordenada de tipos de instâncias usando o novo parâmetro InstanceRequirements e fornecer várias sub-redes em todas as zonas de disponibilidade dentro de um único grupo de instâncias. O HyperPod provisiona instâncias usando primeiro o tipo de maior prioridade e, quando não há capacidade disponível, volta automaticamente para tipos de menor prioridade, o que elimina a necessidade de os clientes tentarem novamente de forma manual nos grupos de instâncias individuais. Os clientes que realizam treinamento se beneficiam da distribuição entre várias sub-redes dentro de uma mesma zona de disponibilidade para evitar o esgotamento de sub-redes. Os clientes de inferência que escalam manualmente obtêm fallback automático baseado em prioridade em todos os tipos de instância, sem precisar repetir cada grupo de instâncias individualmente, enquanto aqueles que usam o ajuste de escala automático do Karpenter podem fazer referência a um único grupo flexível de instâncias. O Karpenter detecta automaticamente os tipos de instâncias compatíveis do grupo flexível de instâncias e provisiona o tipo e a zona de disponibilidade ideais com base nos requisitos do pod. Você pode criar grupos flexíveis de instâncias usando as APIs CreateCluster e UpdateCluster, a AWS CLI ou o Console de Gerenciamento da AWS.
Os grupos flexíveis de instâncias estão disponíveis para clusters do SageMaker HyperPod que usam o orquestrador do EKS em todas as regiões da AWS que oferecem suporte ao SageMaker HyperPod. Para saber mais, consulte Flexible instance groups.