Amazon SageMaker HyperPod agora oferece suporte a instâncias spot
O Amazon SageMaker HyperPod agora oferece suporte a instâncias spot, permitindo que os clientes reduzam os custos de computação de GPU em até 90% em comparação com as instâncias sob demanda no HyperPod. À medida que as workloads de IA aumentam, a otimização dos custos de infraestrutura se torna cada vez mais crítica. A integração spot do SageMaker HyperPod resolve isso permitindo que os clientes aproveitem automaticamente a capacidade extra do EC2 com descontos significativos, ao mesmo tempo em que oferecem a experiência de IA gerenciada que os clientes desfrutam no HyperPod.
Com as instâncias spot, as organizações podem executar workloads tolerantes a falhas de forma econômica e em grande escala. Você pode combinar as instâncias spot com as instâncias sob demanda para equilibrar a otimização de custos com a disponibilidade garantida. O atributo está disponível nos clusters do HyperPod EKS e se integra ao Karpenter para escalonamento automático inteligente, descobrindo automaticamente a capacidade spot disponível e lidando com as interrupções da instância.
Você pode habilitar instâncias spot ao criar grupos de instâncias por meio da API CreateCluster ou do Console da AWS. O atributo oferece suporte a todos os tipos de instância disponíveis no HyperPod, incluindo CPUs e GPUs. A disponibilidade da capacidade depende do fornecimento do EC2 e varia de acordo com a região e o tipo de instância. O suporte a instâncias spot está disponível em todas as regiões que oferecem o SageMaker HyperPod atualmente. Para saber mais, consulte a documentação.