As instâncias P5 fornecem até 8 GPUs NVIDIA H100 com um total de até 640 GB de memória de GPU HBM3 por instância. As instâncias P5 suportam até 900 GB/s de interconexão de GPU NVSwitch (total de 3,6 TB/s de largura de banda bi-seccional em cada instância), para que cada GPU possa se comunicar com todas as outras GPUs na mesma instância com latência de salto único.

As GPUs NVIDIA H100 têm um novo mecanismo de transformador que gerencia de forma inteligente e escolhe dinamicamente entre cálculos de FP8 e 16 bits. Esse atributo ajuda a oferecer acelerações mais rápidas de treinamento de DL em LLMs em comparação às GPUs A100 da geração anterior. Para workloads de HPC, as GPUs NVIDIA H100 têm novas instruções de DPX que aceleram ainda mais os algoritmos de programação dinâmica em comparação às GPUs A100.

As instâncias P5 oferecem até 3.200 Gbps de rede EFAv2. O EFAv2 oferece uma melhoria de até 50% na performance das comunicações coletivas para workloads de treinamento distribuídas. Para reduzir ainda mais a latência, o EFAv2 é acoplado ao NVIDIA GPUDirect RDMA para habilitar a comunicação de GPU para GPU de baixa latência entre servidores com desvio de sistema operacional.

As instâncias P5 oferecem suporte aos sistemas de arquivos Amazon FSx para Lustre, para que você possa acessar dados com centenas de GB/s de throughput e milhões de IOPS necessários para workloads de DL e HPC em grande escala. Cada instância P5 também oferece suporte a até 30 TB de armazenamento SSD NVMe local para acesso rápido a grandes conjuntos de dados. Você também pode usar o armazenamento econômico virtualmente ilimitado com o Amazon Simple Storage Service (Amazon S3).

As instâncias P5 são implantadas em UltraClusters EC2 de segunda geração, que fornecem uma estrutura de rede que permite maior escala, menos saltos de rede em todo o cluster e menor latência do que os UltraClusters da geração anterior. As instâncias P5 em UltraClusters podem escalar até 20.000 GPUs H100 interconectadas com uma rede em escala de petabytes e fornecer 20 exaflops de capacidade de computação agregada.

As instâncias P5 podem ser implantadas usando as AMIs do AWS Deep Learning (DLAMI) e os contêineres do AWS Deep Learning. Elas estão disponíveis por meio de serviços gerenciados, como Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Batch e muito mais.

O SageMaker é um serviço totalmente gerenciado para criar, treinar e implantar modelos de ML. Quando usado em conjunto com as instâncias P5, você pode escalar facilmente para dezenas, centenas ou milhares de GPUs a fim de treinar rapidamente um modelo em qualquer escala, sem se preocupar com a configuração de clusters e pipelines de dados.

A DLAMI disponibiliza a profissionais e pesquisadores de ML a infraestrutura e as ferramentas necessárias para acelerar o DL na nuvem em qualquer escala. Os contêineres de aprendizado profundo são imagens do Docker pré-instaladas com frameworks de DL para facilitar a rápida implantação de ambientes personalizados de ML, evitando que você se preocupe com o processo complicado de criar e otimizar ambientes do zero.

Se você preferir gerenciar suas próprias workloads em contêineres por meio dos serviços de orquestração de contêineres, poderá implantar as instâncias P5 com o Amazon EKS ou o Amazon ECS.