Instancias P6e UltraServers y P6 de Amazon EC2

UltraServers de P6e

Con las instancias P6e-GB300, los clientes pueden beneficiarse de una memoria de GPU 1,5 veces superior y de 1,5 más TFLOPS de GPU (FP4, sin dispersión) en comparación con las instancias P6e-GB200 para mejorar el rendimiento de las cargas de trabajo de IA que hacen un uso más intensivo de los recursos de computación y la memoria.

Con las instancias P6e-GB200 UltraServers, los clientes pueden acceder a hasta 72 GPU Blackwell dentro de un dominio NVLink para utilizar 360 petaflops de procesamiento FP8 (sin dispersión) y 13,4 TB de memoria total de alto ancho de banda (HBM3e). Las instancias P6e-GB200 UltraServers proporcionan hasta 130 terabytes por segundo de conectividad NVLink de baja latencia entre las GPU y hasta 28,8 terabits por segundo del total de redes de Elastic Fabric Adapter (EFAv4) para el entrenamiento y la inferencia de IA. Esta arquitectura UltraServers de P6e-GB200 permite a los clientes beneficiarse de una mejora radical en el procesamiento y la memoria, con hasta 20 veces más TFLOPS de GPU, 11 veces más memoria de GPU y 15 veces más de ancho de banda de memoria de GPU con NVLink en comparación con las instancias P5en.

Instancias P6

Las instancias P6-B300 proporcionan 8 GPU NVIDIA Blackwell Ultra con 2,1 TB de memoria GPU de gran ancho de banda, red EFA de 6,4 Tbps, rendimiento ENA dedicado de 300 Gbps y 4 TB de memoria de sistema. Las instancias P6-B300 ofrecen el doble de ancho de banda de la red, 1,5 veces el tamaño de memoria de la GPU y 1,5 veces más TFLOPS de GPU (FP4, sin dispersión) en comparación con las instancias P6-B200. Estas mejoras hacen que las instancias P6-B300 sean idóneas para el entrenamiento y la inferencia de ML a gran escala.

Las instancias P6-B200 proporcionan 8 GPU NVIDIA Blackwell con 1440 GB de memoria de GPU de alto ancho de banda, procesadores escalables Intel Xeon de 5.ª generación (Emerald Rapids), 2 TiB de memoria de sistema, hasta 14,4 TBp/s de ancho de banda NVLink bidireccional total y 30 TB de almacenamiento NVMe local. Estas instancias cuentan con hasta 2,25 veces más TFLOP de GPU, un tamaño de memoria de GPU de 1,27 veces superior y un ancho de banda de memoria de GPU 1,6 veces superior en comparación con las instancias P5en.

Las instancias P6e UltraServers y P6 se basan en AWS Nitro System, con hardware y firmware especializados diseñados para aplicar restricciones de modo que nadie, ni siquiera AWS, pueda acceder a sus cargas de trabajo y datos confidenciales de IA. Nitro System, que gestiona las redes, el almacenamiento y otras funciones de E/S, puede implementar actualizaciones de firmware, correcciones de errores y optimizaciones mientras permanece operativo. Esto aumenta la estabilidad y reduce el tiempo de inactividad, que es fundamental para cumplir con los plazos de entrenamiento y la ejecución de aplicaciones de IA en producción.

Para lograr un entrenamiento distribuido eficiente, las instancias P6e UltraServers y P6 utilizan redes de Elastic Fabric Adapter (EFAv4) de 4.ª generación. eFav4 utiliza el protocolo Scalable Reliable Datagram (SRD) para enrutar de manera inteligente el tráfico a través de múltiples rutas de red y mantener un funcionamiento fluido, incluso durante momentos de congestión o en caso de errores.

Las instancias P6e UltraServers y P6 se implementan en Amazon EC2 UltraClusters, lo que permite escalar hasta decenas de miles de GPU dentro de una red sin bloqueos a escala de petabits.

Cada GPU NVIDIA Blackwell que se encuentra en las instancias P6-B200 cuenta con un Transformer Engine de segunda generación y admite nuevos formatos de precisión, como FP4. Además, es compatible con NVLink de 5.ª generación, una interconexión más rápida y amplia que ofrece hasta 1,8 TBp/s de ancho de banda por GPU.

El superchip Grace Blackwell, un componente clave de la instancia P6e-GB200, conecta dos GPU NVIDIA Blackwell de alto rendimiento y una CPU NVIDIA Grace mediante la interconexión NVIDIA NVLink-C2C. Cada Superchip ofrece 10 petaflops de procesamiento FP8 (sin dispersión) y hasta 372 GB de HBM3e. Con la arquitectura de superchip, 2 GPU y 1 CPU se ubican en un mismo módulo de procesamiento, lo que aumenta el ancho de banda entre la GPU y la CPU en un orden de magnitud, en comparación con las instancias P5en de la generación actual.

Las GPU NVIDIA Blackwell Ultra que utilizan las instancias P6-B300 ofrecen un aumento del doble en el ancho de banda de la red, 1,5 veces más de memoria de la GPU y hasta 1,5 veces más capacidad de computación FP4 (sin dispersión) en TFLOP efectivos en comparación con las instancias P6-B200.

El superchip Grace Blackwell que se encuentra en las instancias P6e-GB300 UltraServers conecta dos GPU NVIDIA Blackwell Ultra con una CPU NVIDIA Grace, lo que proporciona 1,5 veces más memoria de GPU y hasta 1,5 veces más capacidad de computación FP4 (sin dispersión).

Las instancias P6e UltraServers y P6 proporcionan 400 GBps por GPU de red eFav4, lo que representa un total de 28,8 Tbps por cada P6e-GB200 UltraServers y 3,2 Tbps por instancia P6-B200.

Las instancias P6-B300 ofrecen un ancho de banda de la red de 6,4 Tbps, el doble que las instancias P6-B200 gracias a la 6ª. generación de PCle, y están diseñadas para el entrenamiento de modelos de aprendizaje profundo distribuido a gran escala.

Las instancias P6e UltraServers y P6 son compatibles con los sistemas de archivos Amazon FSx para Lustre, de modo que puede acceder a los datos con los cientos de GB/s de rendimiento y los millones de IOPS que son necesarios para el entrenamiento y la inferencia de IA a gran escala. Las instancias P6e UltraServers admiten hasta 405 TB de almacenamiento SSD NVMe local, mientras que las instancias P6 admiten hasta 30 TB de almacenamiento SSD NVMe local para un acceso rápido a grandes conjuntos de datos. También puede utilizar un almacenamiento rentable prácticamente ilimitado con Amazon Simple Storage Service (Amazon S3).

Amazon SageMaker AI es un servicio completamente administrado que sirve para crear, entrenar e implementar modelos de ML. Con Amazon SageMaker HyperPod, puede escalar más fácilmente decenas, cientos o miles de GPU para entrenar rápidamente un modelo a cualquier escala sin preocuparse de tener que configurar y administrar clústeres de entrenamiento resilientes. (La compatibilidad con P6e-GB200 estará disponible próximamente)

Con las AMI de aprendizaje profundo de AWS (DLAMI), los investigadores y profesionales de ML acceden a la infraestructura y las herramientas necesarias para agilizar las tareas de DL en la nube, a cualquier escala. Los contenedores de aprendizaje profundo de AWS son imágenes de Docker preinstaladas con marcos de DL, que facilitan la implementación de entornos personalizados de ML con la eliminación de los complicados procesos de creación y optimización de entornos desde cero.

Si prefiere administrar sus propias cargas de trabajo en contenedores mediante servicios de orquestación de contenedores, puede implementar instancias P6e-GB200 UltraServers y P6-B200 con Amazon Elastic Kubernetes Service (Amazon EKS) o Amazon Elastic Container Service (Amazon ECS).

Las instancias P6e UltraServers también estarán disponibles a través de NVIDIA DGX Cloud, un entorno completamente administrado con la pila completa de software de IA de NVIDIA. Con NVIDIA DGX Cloud, obtiene las últimas optimizaciones, recetas de evaluación comparativa y experiencia y conocimientos técnicos de NVIDIA.

Más información