Le istanze P5 forniscono fino a 8 GPU H100 di INVIDIA con un totale di memoria GPU HBM3 fino a 640 GB per istanza. Le istanze P5 supportano fino a 900 GB/s di interconnessione GPU NVSwitch (un totale di larghezza di banda bisezionale di 3,6 TB/s in ogni istanza), quindi ogni GPU può comunicare con tutte le altre GPU nella stessa istanza con latenza a singolo hop.

Le GPU H100 di NVIDIA dispongono di un nuovo motore di trasformazione che gestisce in modo intelligente e sceglie dinamicamente tra calcoli FP8 e 16 bit. Questa funzionalità consente di velocizzare l'addestramento DL sugli LLM rispetto alle GPU A100 della generazione precedente. Per i carichi di lavoro HPC, le GPU H100 di NVIDIA dispongono di nuove istruzioni DPX che accelerano ulteriormente gli algoritmi di programmazione dinamica rispetto alle GPU A100.

Le istanze P5 forniscono fino a 3.200 Gb/s di rete EFAv2. EFAv2 offre un miglioramento fino al 50% delle prestazioni delle comunicazioni collettive per carichi di lavoro di addestramento distribuiti. EFAv2 è inoltre accoppiato a NVIDIA GPUDirect RDMA per consentire la comunicazione da GPU a GPU a bassa latenza tra i server con bypass del sistema operativo.

Le istanze P5 supportano i file system Amazon FSx per Lustre consentendo di accedere ai dati con le centinaia di GB/s di velocità di trasmissione effettiva e i milioni di IOPS necessari per i carichi di lavoro DL e HPC su larga scala. Ogni istanza P5 supporta anche fino a 30 TB di archiviazione SSD NVMe locale per un accesso rapido a set di dati di grandi dimensioni. Inoltre, è possibile utilizzare uno spazio di archiviazione economico e virtualmente illimitato con Amazon Simple Storage Service (Amazon S3).

Le istanze P5 vengono implementate in UltraCluster EC2 di seconda generazione, che forniscono una struttura di rete che consente una maggiore scalabilità, un minor numero di hop di rete nel cluster e una latenza inferiore rispetto agli UltraCluster della generazione precedente. Le istanze P5 in UltraClusters possono scalare fino a 20.000 GPU H100 interconnesse con una rete nell'ordine dei petabit e fornire 20 exaflop di capacità di elaborazione aggregata.

Le istanze P5 possono essere implementate utilizzando AWS Deep Learning AMI (DLAMI) e i Container AWS per il Deep Learning. Sono disponibili tramite servizi gestiti come Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), Batch AWS e altri ancora.

SageMaker è un servizio completamente gestito per la creazione, l'addestramento e l'implementazione di modelli di ML. Se utilizzato insieme alle istanze P5, consente di dimensionare più facilmente fino a decine, centinaia o migliaia di GPU per addestrare rapidamente un modello su qualsiasi scala senza preoccuparsi di configurare cluster e pipeline di dati.

Le DLAMI forniscono agli esperti di ML e ai ricercatori l'infrastruttura e gli strumenti necessari per velocizzare i processi di deep learning nel cloud su qualsiasi scala. I Container per il Deep Learning sono immagini Docker preinstallate con framework di DL che semplificano l'implementazione di ambienti di ML personalizzati poiché consentono di saltare il complicato processo di creazione e ottimizzazione degli ambienti ex novo.

Se preferisci gestire i tuoi carichi di lavoro containerizzati tramite i servizi di orchestrazione dei container, puoi implementare le istanze P5 con Amazon EKS o Amazon ECS.