Publicado: Dec 1, 2021
O Amazon SageMaker Inference Recommendation ajuda a escolher a melhor instância de computação disponível e configuração para implantar modelos de machine learning para obter a performance e o custo de inferência ideais.
Selecionar uma instância de computação com a melhor performance de preço para implantar modelos de machine learning é um processo complexo e iterativo que pode levar semanas de experimentação. Primeiro, você precisa escolher o tipo certo de instância de ML entre mais de 70 opções com base nos requisitos de recursos de seus modelos e no tamanho dos dados de entrada. Em seguida, você precisa otimizar o modelo para o tipo de instância selecionado. Por último, você precisa provisionar e gerenciar a infraestrutura para executar testes de carga e ajustar a configuração da nuvem para obter a performance e o custo ideais. Tudo isso pode atrasar a implantação do modelo e o tempo de lançamento no mercado.
O Amazon SageMaker Inference Recommendation seleciona automaticamente o tipo certo de instância de computação, a contagem de instâncias, os parâmetros de contêiner e as otimizações de modelo para inferência a fim de maximizar a performance e minimizar custos. Você pode usar o SageMaker Inference Recommendation do SageMaker Studio, a AWS Command Line Interface (CLI) ou o AWS SDK e, em minutos, obter recomendações para implantar seu modelo de ML. Você pode então implantar seu modelo em uma das instâncias recomendadas ou executar um teste de carga totalmente gerenciado em um conjunto de tipos de instância de sua escolha, sem se preocupar com o teste de infraestrutura. Você pode revisar os resultados do teste de carga no SageMaker Studio e avaliar as compensações entre latência, taxa de transferência e custo para selecionar a configuração de implantação ideal.
O Amazon SageMaker Inference Recommendation está geralmente disponível em todas as regiões onde o SageMaker está disponível, exceto nas regiões da AWS da China. Para saber mais, consulte a página da Web de implantação do modelo SageMaker e a documentação do SageMaker Inference Recommendation.