Publicado: Apr 22, 2020
Agora, os clientes do Amazon SageMaker podem selecionar instâncias Inf1 na implantação de modelos de machine learning para inferências em tempo real. O Amazon SageMaker é um serviço totalmente gerenciado que permite que desenvolvedores e cientistas de dados criem, treinem e implantem modelos de machine learning de forma rápida e fácil em qualquer escala. Usando instâncias Inf1 no Amazon SageMaker, os clientes podem executar aplicativos de inferência de machine learning e deep learning em grande escala, como reconhecimento de imagem, reconhecimento de fala, processamento de linguagem natural, personalização, previsão e detecção de fraude, com alto desempenho e custos significativamente mais baixos.
As instâncias Inf1 foram projetadas do zero para oferecer suporte a aplicativos de inferência de machine learning e apresentam até 16 chips AWS Inferentia, que são chips de machine learning desenvolvidos pela AWS para otimizar o custo para inferência de deep learning. Os chips Inferentia são acoplados aos mais recentes processadores escaláveis Intel® Xeon® de segunda geração e rede de 100Gbps para fornecer alto desempenho e o menor custo do setor para aplicativos de inferência de ML. Com 1 a 16 chips do AWS Inferentia por instância, as instâncias Inf1 podem expandir o desempenho para até 2000 TOPS (Teraoperações por segundo), fornecer throughput até 3x mais alto e um custo por inferência até 45% mais baixo em comparação com as instâncias baseadas em GPU da AWS. A grande memória em chip nos chips do AWS Inferentia usados nas instâncias Inf1 permite o armazenamento em cache de modelos de machine learning diretamente no chip, dispensando a necessidade de acessar recursos de memória externa durante a inferência e permitindo baixa latência e throughput de inferência. Para saber mais sobre instâncias Inf1, acesse as páginas de produtos.
As instâncias Inf1 no Amazon SageMaker agora estão disponíveis nas regiões da AWS Norte Virginia e Oregon nos EUA e estão disponíveis em quatro tamanhos: ml.inf1.xlarge, ml.inf1.2xlarge, ml.inf1.6xlarge e ml.inf1.24xlarge. Os modelos de machine learning desenvolvidos com o uso das estruturas TensorFlow e MxNet podem ser implantados em instâncias Inf1 no Amazon SageMaker para inferência em tempo real. Para usar instâncias Inf1 no Amazon SageMaker, você pode compilar seus modelos treinados usando o Amazon SageMaker Neo e selecionar as instâncias Inf1 para implantar o modelo compilado no Amazon SageMaker.
Consulte o guia do desenvolvedor do Amazon SageMaker para obter mais informações e exemplos do Amazon SageMaker no Github para saber mais sobre como implantar modelos de machine learning em instâncias Inf1 no Amazon SageMaker.
Modificado em 27/08/2021: visando garantir uma experiência diferenciada, os links expirados desta publicação foram atualizados ou removidos da publicação original.