Publicado: Mar 18, 2020
Agora você pode usar o Amazon Elastic Inference para acelerar a inferência e reduzir os custos de inferência para os modelos PyTorch no Amazon SageMaker, Amazon EC2 e Amazon ECS. As bibliotecas PyTorch aprimoradas para EI estão disponíveis automaticamente no Amazon SageMaker, AMIs da AWS Deep Learning e AWS Deep Learning Containers, para que você possa implantar seus modelos PyTorch em produção com alterações mínimas de código. O Elastic Inference suporta modelos compilados do TorchScript no PyTorch. Para usar o Elastic Inference com o PyTorch, você deve converter seus modelos do PyTorch em TorchScript e usar a API do Elastic Inference para inferência. Hoje, o PyTorch se une ao TensorFlow e ao Apache MXNet como uma estrutura de aprendizado profundo que é suportada pelo Elastic Inference.
O Elastic Inference permite anexar a quantidade certa de aceleração acionada por GPU a qualquer instância do Amazon SageMaker, instância do EC2 ou tarefa do ECS para reduzir o custo da execução de inferência de aprendizado profundo em até 75%.
O PyTorch for Elastic Inference é suportado em regiões onde o Amazon Elastic Inference está disponível. Para obter mais informações, consulte Usando modelos PyTorch com Elastic Inference no guia do desenvolvedor e nossa postagem no blog, “Reduza os custos de inferência de ML nos modelos Amazon SageMaker for PyTorch usando Amazon Elastic Inference“.