P5-Instances von Amazon Elastic Compute Cloud (Amazon EC2), unterstützt von NVIDIA H100 Tensor Core-GPUs, und P5e- und P5en-Instances, unterstützt von NVIDIA H200 Tensor Core-GPUs, bieten die höchste Leistung in Amazon EC2 für Anwendungen des Deep Learnings (DL) und High Performance Computings (HPC). Sie helfen Ihnen dabei, die Zeit bis zur Lösung im Vergleich zu GPU-basierten EC2-Instances der vorherigen Generation um das 4-fache zu verkürzen und die Kosten für das Training von ML-Modellen um bis zu 40 % zu senken. Diese Instances helfen Ihnen dabei, Ihre Lösungen schneller weiterzuentwickeln und schneller auf den Markt zu bringen. Sie können P5-, P5e- und P5en-Instances für das Training und die Bereitstellung von immer komplexeren großen Sprachmodellen (LLMs) und Diffusionsmodellen verwenden, die die anspruchsvollsten Anwendungen generativer künstlicher Intelligenz (KI) unterstützen. Diese Anwendungen umfassen die Beantwortung von Fragen, Codegenerierung, Video- und Bildgenerierung sowie Spracherkennung. Sie können diese Instances auch verwenden, um anspruchsvolle HPC-Anwendungen in großem Maßstab für die pharmazeutische Forschung, seismische Analyse, Wettervorhersage und Finanzmodellierung bereitzustellen.

Um diese Leistungsverbesserungen und Kosteneinsparungen zu erzielen, ergänzen P5- und P5e-Instances NVIDIA-H100- und H200-Tensor-Core-GPUs mit zweimal höherer CPU-Leistung, zweimal höherem Systemspeicher und viermal höherem lokalen Speicher im Vergleich zu GPU-basierten Instances der vorherigen Generation. P5en-Instances kombinieren NVIDIA H200 Tensor Core-GPUs mit einer leistungsstarken Intel Sapphire Rapids-CPU und ermöglichen so Gen5-PCIe zwischen CPU und GPU. P5en-Instances bieten im Vergleich zu P5e- und P5-Instances eine bis zu doppelt so große Bandbreite zwischen CPU und GPU und eine geringere Netzwerklatenz, wodurch die verteilte Trainingsleistung verbessert wird. Die Unterstützung von P5- und P5e-Instances ermöglicht mithilfe des Elastic Fabric Adapters (EFA) der zweiten Generation ein Netzwerk von bis zu 3 200 Gbit/s. P5en, mit der dritten Generation von EFA mit Nitro v5, zeigt eine Verbesserung der Latenz um bis zu 35 % im Vergleich zu P5, das die vorherige Generation von EFA und Nitro verwendet. Dies trägt dazu bei, die kollektive Kommunikationsleistung für verteilte Trainingsworkloads wie Anwendungen des Deep Learnings, generativer KI, der Echtzeitdatenverarbeitung und des High-Performance Computings (HPC) zu verbessern. Um umfangreiche Rechenleistung bei geringer Latenz bereitzustellen, werden diese Instances in Amazon EC2 UltraClustern bereitgestellt, die eine Skalierung auf bis zu 20 000 H100- oder H200-GPUs ermöglichen, verbunden mit einem blockierungsfreien Netzwerk im Petabit-Bereich. P5-, P5e- und P5en-Instances in EC2 UltraClusters können bis zu 20 Exaflops an aggregierter Datenverarbeitungsleistung bereitstellen – eine Leistung, die der eines Supercomputers entspricht.