Amazon Elastic Inference

Agregue aceleración de GPU a cualquier instancia de Amazon EC2 para una inferencia más rápida a un costo mucho menor (hasta 75 % de ahorros)

Amazon Elastic Inference le permite adjuntar aceleración impulsada de GPU de bajo costo a las instancias de Amazon EC2 y Amazon SageMaker para reducir el costo de ejecutar la inferencia de aprendizaje automático de hasta un 75 %. Amazon Elastic Inference admite modelos TensorFlow, Apache MXNet y ONNX con más marcos de trabajo próximamente.

En la mayoría de las aplicaciones de aprendizaje automático, hacer predicciones usando un modelo entrenado —un proceso denominado inferencia— puede conducir hasta un 90 % de los costos informáticos de la aplicación debido a dos factores. Primero, las instancias de GPU únicas están diseñadas para la capacitación del modelo y, en general, están sobredimensionadas para la inferencia. Mientras que un lote de trabajo de capacitación procesa cientos de muestras de datos en paralelo, la mayoría de las inferencias ocurren en una sola entrada en tiempo real que consume solo una pequeña cantidad de cómputo de GPU. Incluso en una carga máxima, la capacidad informática de GPU quizás no se utilice por completo, lo cual es derrochador y costoso. Segundo, los distintos modelos necesitan distintas cantidades de GPU, CPU y recursos de memoria. Seleccionar un tipo de instancia de GPU que sea lo suficientemente grande como para satisfacer los requisitos del recurso menos utilizado a menudo genera una infrautilización de los demás recursos y costos elevados.

Amazon Elastic Inference resuelve estos problemas al permitir que adjunte la cantidad correcta de aceleración de inferencia impulsada de GPU a cualquier tipo de instancia EC2 o SageMaker sin cambios de código. Con Amazon Elastic Inference, ahora puede elegir el tipo de instancia que mejor se adapta a las necesidades generales de su CPU y memoria de su aplicación y, luego, configurar por separado la cantidad de aceleración de inferencia que necesita para usar los recursos de manera eficiente y reducir los costos de la inferencia en ejecución.

Presentación de Amazon Elastic Inference

Beneficios

Reduce los costos de inferencias hasta un 75 %

Amazon Elastic Inference le permite elegir el tipo de instancia que mejor se adapte a las necesidades informáticas y de memoria de su aplicación. Por lo tanto, puede especificar por separado la cantidad de aceleración de inferencia que necesita. Esto reduce los costos de inferencia hasta un 75 % debido a que ya no necesita un sobreaprovisionamiento informático de GPU para la inferencia.

Consiga exactamente lo que necesita

Amazon Elastic Inference puede proporcionar tan poco como un TFLOPS (un millón de billones de operaciones de punto de flotación por segundo) de precisión única para la aceleración de la inferencia o tanto como 32 TFLOPS de precisión combinada. Este es un rango más apropiado de informática de inferencia que un rango de hasta 1000 TFLOPS proporcionado mediante una instancia P3 única de Amazon EC2. Por ejemplo, un modelo simple de procesamiento de idioma quizás no necesite un TFLOPS para ejecutar bien la inferencia, mientras que un modelo sofisticado de visión de computadora quizás necesite hasta 32 TFLOPS.

Responda a los cambios de demanda

Puede fácilmente escalar la cantidad de aceleración de inferencia de forma sencilla usando grupos de Auto Scaling de Amazon EC2 para cumplir con las demandas de su aplicación sin sobreaprovisionar la capacidad. Con EC2 Auto Scaling incrementa su instancia EC2 para cumplir con la demanda creciente, también incrementa de forma automática el acelerador adjunto para cada instancia. De manera similar, cuando reduce sus instancias EC2 a medida que desciende la demanda, también reduce el acelerador adjunto para cada instancia. Esto lo ayuda a pagar solo por lo que necesita y cuando lo necesita.

Soporte para los marcos populares

Amazon Elastic Inference admite modelos TensorFlow, y Apache MXN con marcos de trabajo adicionales próximamente.

tensorflow_logo_200px
mxnet_150x50
Blog: Amazon Elastic Inference – Aceleración de inferencia impulsada por GPU
28 de noviembre de 2018
 
Product-Page_Standard-Icons_01_Product-Features_SqInk
Consulte las características del producto

Más información sobre las características de Amazon Elastic Inference.

Más información 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Inscríbase para obtener una cuenta gratuita

Obtenga acceso automáticamente a la capa gratuita de AWS. 

Inscribirse 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Comience a crear en la consola

Comience a usar Amazon Elastic Inference en Amazon SageMaker o Amazon EC2.

Iniciar sesión