Publicado: Jan 18, 2019
O Amazon Elastic Inference é um serviço que permite associar aceleradores a qualquer tipo de instância do Amazon SageMaker ou do Amazon EC2 para acelerar cargas de trabalho de inferência de aprendizado profundo. Os aceleradores do Elastic Inference oferecem os benefícios de baixa latência e alto throughput da aceleração de GPUs a um custo muito mais baixo (até 75%). Você pode usar o Elastic Inference para implantar modelos do TensorFlow, do Apache MXNet e do ONNX para inferência.
Agora, o Amazon Elastic Inference oferece suporte à versão mais recente do TensorFlow 1.12. O serviço fornece o EIPredictor, uma nova função de API do Python fácil de usar para implantar modelos do TensorFlow usando aceleradores do Amazon Elastic Inference. O EIPredictor permite experimentar com facilidade e comparar a performance com e sem o Amazon Elastic Inference. Para saber mais sobre a execução de modelos do TensorFlow usando o Amazon Elastic Inference, consulte esta publicação de blog.
Para saber mais sobre o Amazon Elastic Inference, acesse a página da web e o guia de documentação do usuário.