Publicado en: Nov 29, 2022
Hoy, AWS presenta la versión preliminar de las instancias Inf2 de Amazon Elastic Compute Cloud (Amazon EC2), que están diseñadas con el objetivo de ofrecer un alto rendimiento a menor costo en Amazon EC2 para las aplicaciones más exigentes de inferencia de aprendizaje profundo (DL). Las instancias Inf2 funcionan con hasta 12 AWS Inferentia2, el tercer acelerador de DL diseñado por AWS. Además, ofrecen un rendimiento de computación tres veces superior, un rendimiento hasta cuatro veces mejor y una latencia hasta diez veces menor en comparación con las instancias Inf1.
Puede usar las instancias Inf2 para ejecutar aplicaciones de aprendizaje profundo (DL) en la comprensión del lenguaje natural, la traducción, la generación de videos e imágenes, el reconocimiento de voz, la personalización y más. Están optimizadas para implementar modelos complejos, como grandes modelos lingüísticos (LLM) y transformadores de visión a escala y, al mismo tiempo, mejoran los beneficios precio-rendimiento de las instancias Inf1 para modelos más pequeños. Para admitir modelos de parámetros ultragrandes de más de más de 100B, las instancias Inf2 son las primeras instancias optimizadas para inferencia en Amazon EC2. Admiten inferencia distribuida de escalado horizontal con conectividad de ultraalta velocidad entre aceleradores.
Las instancias Inf2 ofrecen hasta 2,3 petaflops de rendimiento de DL, hasta 384 GB de memoria aceleradora con un ancho de banda de 9,8 TB/s y NeuronLink, una interconexión sin bloqueos de ultraalta velocidad dentro de la instancia. También ofrecen hasta un 50 % más de rendimiento por vatio en comparación con las instancias basadas en GPU en Amazon EC2 y lo ayudan a alcanzar sus objetivos de sostenibilidad. El SDK de AWS Neuron se integra de forma nativa con marcos de machine learning conocidos, como PyTorch y TensorFlow, por lo que puede implementar sus aplicaciones de DL en Inf2 con unas pocas líneas de código.
Para obtener más información y registrarse para obtener una versión preliminar de las instancias Inf2, consulte la página de detalles del producto Inf2.