Personalize versões de software e driver de implantação de modelos do Amazon SageMaker
Agora, você pode escolher as versões de software e driver para as instâncias mais adequadas às suas necessidades quando implanta modelos no SageMaker. O Amazon SageMaker facilita a implantação de modelos de ML, incluindo modelos de base (FMs), para fazer solicitações de inferência com o melhor custo-benefício para qualquer caso de uso.
Anteriormente, os clientes precisavam usar versões predefinidas de software e driver definidas pelo SageMaker nas instâncias gerenciadas por trás de um endpoint. Agora, os clientes podem especificar o parâmetro “InferenceAmiVersion” na configuração de endpoints para selecionar a combinação de versões de software e driver (como driver Nvidia e versão CUDA) mais adequada aos seus requisitos. Isso permite que você personalize o ambiente de hospedagem para cumprir requisitos operacionais e de performance, compatibilidade e escalabilidade de aplicações de ML. Quando usa esse parâmetro, você também pode fazer o downgrade e upgrade as versões do driver para os endpoints de acordo com seu próprio agendamento.
Esse atributo está disponível em todas as regiões que oferecem o SageMaker. Você pode saber mais sobre a implantação de modelos no SageMaker aqui. Para saber mais sobre esse atributo, consulte a documentação.