Com o Amazon Elastic Inference, você pode associar aceleração de baixo custo baseada em GPU às instâncias do Amazon EC2 e do SageMaker ou às tarefas do Amazon ECS para reduzir em até 75% os custos de execução de inferências de aprendizado profundo. O Amazon Elastic Inference oferece suporte aos modelos do TensorFlow, Apache MXNet, PyTorch e ONNX.

Inferência é o processo de fazer previsões usando um modelo treinado. Em aplicativos de aprendizagem profunda, a inferência contabiliza até 90% dos custos operacionais totais por dois motivos. Em primeiro lugar, as instâncias de GPU autônomas normalmente são criadas para treinamento de modelos, não para inferência. Enquanto os trabalhos de treinamento processam em lote centenas de amostras de dados em paralelo, os trabalhos de inferência normalmente processam uma única entrada em tempo real, e assim consomem uma pequena quantidade de computação de GPU. Isso torna a inferência de GPU autônoma ineficiente em termos de custo. Por outro lado, as instâncias de CPU autônomas não são especializadas para operações de matrizes e, assim, muitas vezes são muito lentas para inferência de aprendizagem profunda. Em segundo lugar, diferentes modelos têm diferentes requisitos de CPU, GPU e memória. A otimização de um recurso pode levar à subutilização de outros recursos e a custos mais elevados.

O Amazon Elastic Inference soluciona esses problemas permitindo que você associe apenas a quantidade adequada de aceleração de inferência baseada em GPU a qualquer tipo de instância do EC2 ou do SageMaker ou tarefa do ECS, sem precisar de alterações de código. Com o Amazon Elastic Inference, você pode escolher qualquer instância de CPU na AWS que se adeque melhor às necessidades gerais de computação e memória de sua aplicação e configurar separadamente a quantidade certa de aceleração de inferência baseada em GPU. Isso permite utilizar recursos com eficiência e reduzir custos.