Instancias EC2 P4 equipadas con GPU para aprendizaje automático y HPC

Por Jeff Barr, Chief Evangelist, AWS

El equipo de Amazon EC2 ha proporcionado a nuestros clientes instancias equipadas con GPU durante casi una década. Las instancias de GPU de clúster de primera generación se lanzaron a finales de 2010, seguidas de las instancias G2 (2013), P2 (2016), P3 (2017), G3 (2017), P3dn (2018) y G4 (2019). Cada generación sucesiva incorpora GPU de capacidad cada vez mayor, junto con suficiente potencia de CPU, memoria y ancho de banda de red para permitir que las GPU se utilicen al máximo.

Nuevas instancias P4 de EC2

Hoy nos gustaría informarle sobre las nuevas instancias P4 equipadas con GPU. Estas instancias cuentan con los últimos procesadores Intel® Cascade Lake y cuentan con ocho de las últimas GPU NVIDIA A100 Tensor Core , cada una conectada a todas las demás mediante NVLink, siendo compatible con NVIDIA GPUDirect . Con 2.5 PetaFLOPS de rendimiento de punto flotante y 320 GB de memoria de gran ancho de banda en la GPU, las instancias pueden ofrecer hasta 2.5 veces más rendimiento de aprendizaje profundo y hasta un 60% menos de costo de entrenamiento en comparación con las instancias P3.

Las instancias P4 incluyen 1.1 TB de memoria del sistema y 8 TB de almacenamiento SSD basado en NVME que puede ofrecer hasta 16 gigabytes de rendimiento de lectura por segundo.

En cuanto a la red, tienen acceso a una estructura de red dedicada con cuatro conexiones de red de 100 Gbps, alcanzando una escala de petabit y sin bloqueo (accesible a través de EFA) diseñada específicamente para las instancias P4, junto con 19 Gbps de ancho de banda de EBS que puede admitir hasta 80K IOPS.

EC2 UltraClusters

Las GPU NVIDIA A100, la compatibilidad con NVIDIA GPUDirect, las redes de 400 Gbps, la estructura de red a escala de petabit y el acceso a servicios de AWS como S3, Amazon FSx for Lustre y AWS ParallelCluster le ofrecen todo lo que necesita para crear un UltraCluster de EC2 bajo demanda con 4,000 o más GPU:

Estos clústeres pueden asumir las cargas de trabajo de HPC y aprendizaje automático más difíciles a escala de super computadoras: procesamiento de lenguaje natural, detección y clasificación de objetos, comprensión de escenas, análisis sísmico, previsión meteorológica, modelado financiero, etc.

Ahora disponibles

Las instancias P4 están disponibles en un tamaño (p4d.24xlarge) y puede lanzarlas en las regiones del Este de EE.UU. (Norte de Virginia) y EE.UU. Oeste (Oregón) hoy mismo. Su AMI necesitará tener los controladores NVIDIA A100 y el controlador ENA más reciente (los contenedores de aprendizaje profundo ya se han actualizado).

Si utiliza varios P4 para ejecutar trabajos de formación distribuidos, puede utilizar EFA y una aplicación compatible con MPI para aprovechar al máximo los 400 Gbps de red y la estructura de red a escala de petabit.

Puede adquirir instancias P4 en el formulario Bajo demanda, Plan de ahorro, Instancia reservada y Spot. La compatibilidad con el uso de instancias P4 en servicios gestionados de AWS como Amazon SageMaker y Amazon Elastic Kubernetes Service estará disponible a finales de este año.

Escuchemos mas acerca de las instancias P4 de Dave Brown, VP de Amazon Elastic Compute Cloud:

Más información

Para obtener más información sobre el rendimiento de las instancias P4d en comparación con las instancias de la generación anterior (P3), lea Instancias P4d de Amazon EC2 en UltraClusters. Para obtener precios y detalles técnicos adicionales, lea acerca de las instancias P4.

Sobre el autor

Jeff Barr es Chief Evangelist en AWS

Sobre los traductores

José Lorenzo Cuéncar Garza es Arquitecto de Soluciones Sr. para Amazon Web Services en Sector Público. José colabora con Dependencias de Gobierno, Instituciones Educativas y Organizaciones sin fines de lucro en México, apoyándolos en su camino a la innovación y adopción tecnológica.

Esteban de Jesus Hernandez Barragan es Arquitecto de Big Data para Amazon Web Services en Sector Público. Esteban colabora con Dependencias de Gobierno, Instituciones Educativas y Organizaciones sin fines de lucro en el territorio de Sudamerica, apoyándolos en su camino a la innovación y adopción tecnológica.