Publicado en: Dec 12, 2019
Ahora puede asociar varios aceleradores de Amazon Elastic Inference a una única instancia de Amazon EC2. Con esta capacidad, podrá utilizar una sola instancia EC2 en un grupo de escalado automático cuando se estén ejecutando inferencias para varios modelos. Si asocia múltiples aceleradores a una única instancia, puede evitar la implementación de varios grupos de escalado automático de las instancias de CPU o de GPU para efectuar inferencias y, también, reducir sus costos operativos.
Amazon Elastic Inference le permite asociar la cantidad justa de aceleración con GPU a cualquier instancia de Amazon EC2 para reducir el costo de la ejecución de inferencias de aprendizaje profundo en hasta un 75 %. Dado que es posible que sus modelos necesiten diferentes volúmenes de memoria de GPU y de capacidad de cómputo, puede elegir distintos tamaños de aceleradores de Elastic Inference para asociar a su instancia de CPU. Para alcanzar tiempos de respuesta más cortos, puede cargar los modelos en un acelerador una vez y continuar haciendo llamadas de inferencia sin tener que descargarlos.
Se admite agregar varios aceleradores a una instancia EC2 en todas las regiones en las que está disponible Amazon Elastic Inference. Para obtener más información acerca de la asociación de múltiples aceleradores a una única instancia, consulte Uso de modelos TensorFlow con Elastic Inference y Uso de modelos MXNet con Elastic Inference.