Las instancias P5 proporcionan hasta 8 GPU NVIDIA H100 con un total de hasta 640 GB de memoria de GPU HBM3 por instancia. Las instancias P5 admiten hasta 900 GB/s de interconexión de GPU NVSwitch (un total de 3,6 TB/s de ancho de banda biseccional en cada instancia), por lo que cada GPU puede comunicarse con las demás GPU de la misma instancia con una latencia de un solo salto.

Las GPU NVIDIA H100 tienen un nuevo motor transformador que gestiona de forma inteligente y elige de forma dinámica entre los cálculos de FP8 y de 16 bits. Esta característica ayuda a acelerar el entrenamiento de aprendizaje profundo más rápido en los LLM en comparación con las GPU A100 de la generación anterior. Para las cargas de trabajo de HPC, las GPU NVIDIA H100 tienen nuevas instrucciones DPX que aceleran aún más los algoritmos de programación dinámica en comparación con las GPU A100.

Las instancias P5 ofrecen hasta 3200 Gbps de red EFAv2. EFAv2 ofrece una mejora de hasta un 50 % en el rendimiento de las comunicaciones colectivas para cargas de trabajo de entrenamiento distribuido. EFAv2 se combina con NVIDIA GPUDirect RDMA para permitir comunicación de GPU a GPU de baja latencia entre servidores con omisión de sistema operativo.

Las instancias P5 son compatibles con los sistemas de archivos Amazon FSx para Lustre para que pueda acceder a los datos con los cientos de GB/s de rendimiento y los millones de IOPS necesarios para las cargas de trabajo de HPC y aprendizaje profundo a gran escala. Cada instancia P5 también admite hasta 30 TB de almacenamiento SSD NVMe local para un acceso rápido a grandes conjuntos de datos. También puede utilizar un almacenamiento rentable prácticamente ilimitado con Amazon Simple Storage Service (Amazon S3).

Las instancias P5 se implementan en EC2 UltraClusters de segunda generación, que proporcionan una estructura de red que permite una mayor escala, menos saltos de red en el clúster y una latencia más baja que UltraClusters de la generación anterior. Las instancias P5 de UltraClusters pueden escalar hasta 20 000 GPU H100 interconectadas con una red a escala de petabits y ofrecer 20 exaflops de capacidad de computación agregada.

Las instancias P5 se pueden implementar con las AMI de aprendizaje profundo de AWS (DLAMI) y los contenedores de aprendizaje profundo de AWS. Están disponibles a través de servicios administrados como Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Batch, etc.

SageMaker es un servicio completamente administrado que sirve para crear, entrenar e implementar modelos de ML. Cuando se usa con las instancias P5, puede escalar más fácilmente decenas, cientos o miles de GPU para entrenar rápidamente un modelo a cualquier escala sin preocuparse por configurar clústeres ni canalizaciones de datos.

Las DLAMI ofrecen a los investigadores y profesionales del ML la infraestructura y las herramientas necesarias para agilizar las tareas de aprendizaje profundo en la nube a cualquier escala. Los contenedores de aprendizaje profundo son imágenes de Docker preinstaladas con marcos de aprendizaje profundo para facilitar la implementación de entornos de ML personalizados porque le permiten omitir el complejo proceso de crear y optimizar sus entornos desde cero.

Si prefiere gestionar sus propias cargas de trabajo en contenedores mediante servicios de orquestación de contenedores, puede implementar instancias P5 con Amazon EKS o Amazon ECS.