A inferência do Amazon SageMaker AI agora oferece suporte ao particionamento de GPU para endpoints em tempo real
A do Amazon SageMaker AI agora oferece suporte ao particionamento de GPU, permitindo que você execute vários modelos em uma única GPU, em vez de dedicar um acelerador inteiro a cada um. Usando a tecnologia NVIDIA Multi-Instance GPU (MIG), o SageMaker AI divide uma GPU em até sete partições isoladas, cada uma com sua própria memória e computação. Antes, os clientes que atendiam modelos de pequeno e médio porte, como variantes ajustadas, modelos de incorporação, reordenadores e classificadores, precisavam dar a cada modelo um acelerador completo, de modo que uma instância não hospedava mais modelos do que tinha GPUs e pagava pela capacidade de GPU que esses modelos nunca poderiam usar.
Com o particionamento de GPU, você escolhe como dividir as GPUs por trás do seu endpoint e colocar cada modelo em uma partição do tamanho adequado. Vários modelos então compartilham um acelerador com isolamento imposto por hardware, portanto, um modelo ocupado não pode consumir memória ou throughput dos modelos ao lado dele. O dimensionamento correto de um acelerador para uma workload também abre novas gerações de instâncias que, de outra forma, teriam mais capacidade do que as necessidades de um único modelo. Você configura o particionamento de GPU ao criar um endpoint que hospeda componentes de inferência e continua invocando cada modelo pelo nome, para que o código do seu aplicativo não seja alterado.
O particionamento de GPU está disponível em instâncias P4d, P5, G7 e G7e no Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Ásia-Pacífico (Singapura), Ásia-Pacífico (Tóquio), Europa (Frankfurt) e Europa (Irlanda). Para saber mais, visite a página de implantação do Amazon SageMaker AI e consulte o Guia do desenvolvedor do Amazon SageMaker AI.