Amazon EC2 P6e UltraServer und P6-Instances

P6e UltraServers

Mit dem P6e-GB300 können Kunden im Vergleich zum P6e-GB200 den 1,5-fachen GPU-Speicher und die 1,5-fachen GPU-TFLOPS (FP4, ohne Sparsity) nutzen, um die Leistung für die rechen- und speicherintensivsten KI-Workloads zu verbessern.

Mit P6e-GB200 UltraServern können Kunden auf bis zu 72 Blackwell-GPUs innerhalb einer NVLink-Domäne zugreifen, um 360 Petaflops an FP8-Rechenleistung (ohne Sparsity) und 13,4 TB Gesamtspeicher mit hoher Bandbreite (HBM3e) zu nutzen. P6e-GB200 UltraServer bieten bis zu 130 Terabyte pro Sekunde an NVLink-Konnektivität mit niedriger Latenz zwischen GPUs und bis zu 28,8 Terabit pro Sekunde an gesamten Elastic Fabric Adapter-Netzwerken (eFAV4) für KI-Training und Inferenz. Diese UltraServer-Architektur auf dem P6e-GB200 ermöglicht es Kunden, eine deutliche Verbesserung der Rechenleistung und des Arbeitsspeichers zu nutzen, mit bis zu 20-facher GPU-TFLOPS, 11-facher GPU-Speicher und 15-facher GPU-Gesamtspeicherbandbreite unter NVLink im Vergleich zu P5en.

P6 Instances

P6 B300-8x-Instances bieten 8x NVIDIA Blackwell Ultra GPUs mit 2,1 TB GPU-Speicher mit hoher Bandbreite, 6,4 Tbps EFA-Netzwerk, 300 Gbps dedizierten ENA-Durchsatz und 4 TB Systemspeicher. P6-B300-Instances bieten im Vergleich zu P6-B200-Instances die doppelte Netzwerkbandbreite, die 1,5-fache GPU-Speichergröße und das 1,5-fache GPU-TFLOPS (bei FP4, ohne Sparsity). Aufgrund dieser Verbesserungen eignen sich P6-B300-Instances gut für groß angelegtes ML-Training und Inferenz.

P6-B200-Instances bieten 8x NVIDIA Blackwell-GPUs mit 1440 GB GPU-Speicher mit hoher Bandbreite, skalierbare Intel Xeon Prozessoren der 5. Generation (Emerald Rapids), 2 TiB Systemspeicher, bis zu 14,4 TBP/s an bidirektionaler NVLink-Bandbreite und 30 TB lokalen NVMe-Speicher. Diese Instances bieten im Vergleich zu P5en-Instances das bis zu 2,25-fache GPU-TFLOPs, die 1,27-fache GPU-Speichergröße und die 1,6-fache GPU-Speicherbandbreite.

P6e UltraServer und P6-Instances werden vom AWS Nitro System mit spezieller Hardware und Firmware betrieben, die darauf ausgelegt sind, Einschränkungen durchzusetzen, sodass niemand, auch niemand bei AWS, auf Ihre sensiblen KI-Workloads und Daten zugreifen kann. Das Nitro-System, das Netzwerk-, Speicher- und andere I/O-Funktionen verwaltet, kann Firmware-Updates, Bugfixes und Optimierungen bereitstellen, während es betriebsbereit bleibt. Dies erhöht die Stabilität und reduziert Ausfallzeiten, was für die Einhaltung von Schulungszeitplänen und die Ausführung von KI-Anwendungen in der Produktion von entscheidender Bedeutung ist.

Um effizientes verteiltes Training zu ermöglichen, verwenden P6e UltraServer und P6-Instances das Elastic Fabric Adapter-Netzwerk (eFAV4) der vierten Generation. eFAV4 verwendet das Scalable Reliable Datagram (SRD)-Protokoll, um den Datenverkehr intelligent über mehrere Netzwerkpfade zu leiten, um auch bei Überlastung oder Ausfällen einen reibungslosen Betrieb zu gewährleisten.

P6e UltraServer und P6-Instances werden in Amazon EC2 UltraClustern bereitgestellt, die die Skalierung von bis zu Zehntausenden von GPUs innerhalb eines blockierungsfreien Netzwerks im Petabit-Bereich ermöglichen.

Jede NVIDIA Blackwell-GPU in P6-B200-Instances verfügt über eine Transformer Engine der zweiten Generation und unterstützt neue Präzisionsformate wie FP4. Es unterstützt NVLink der fünften Generation, eine schnellere, breitere Verbindung mit einer Bandbreite von bis zu 1,8 TBP/s pro GPU.

Der Grace Blackwell Superchip, eine Schlüsselkomponente des P6e-GB200, verbindet zwei leistungsstarke NVIDIA Blackwell-GPUs und eine NVIDIA Grace-CPU über die NVIDIA NVLink-C2C-Verbindung. Jeder Superchip liefert 10 Petaflops FP8-Rechenleistung (ohne Sparsity) und bis zu 372 GB HBM3e. Bei der Superchip-Architektur befinden sich 2 GPUs und 1 CPU in einem Rechenmodul, wodurch die Bandbreite zwischen GPU und CPU im Vergleich zu P5en-Instances der aktuellen Generation um eine Größenordnung erhöht wird.

Die NVIDIA Blackwell Ultra-GPUs, die P6-B300-Instances unterstützen, bieten im Vergleich zu P6-B200-Instances eine zweifache Erhöhung der Netzwerkbandbreite, eine 1,5-fache Erhöhung des GPU-Speichers und eine bis zu 1,5-fache FP4-Rechenverbesserung (ohne Sparsity) an effektiven TFLOPs.

Der in P6e-GB300 UltraServern enthaltene Grace Blackwell Superchip verbindet zwei NVIDIA Blackwell Ultra-GPUs mit einer NVIDIA Grace-CPU und bietet so den 1,5-fachen GPU-Speicher und bis zu 1,5-fache FP4-Rechenverbesserungen (ohne Sparsity).

P6e UltraServer und P6-Instances bieten 400 GB ps pro GPU eFAV4-Netzwerk, was insgesamt 28,8 Tbit/s pro P6e-GB200 UltraServer und 3,2 Tbit/s pro P6-B200-Instance entspricht.

P6-B300-Instances bieten dank PCle Gen6 eine Netzwerkbandbreite von 6,4 Tbit/s — doppelt so viele wie P6-B200-Instances. Sie sind für das groß angelegte Training von verteilten Deep-Learning-Modellen konzipiert.

P6e UltraServer und P6-Instances unterstützen Amazon FSx for Lustre-Dateisysteme, sodass Sie auf Daten mit einem Durchsatz von Hunderten von Gbit/s und Millionen von IOPS zugreifen können, die für umfangreiche KI-Trainings und Inferenzen erforderlich sind. P6e UltraServer unterstützen bis zu 405 TB lokalen NVMe-SSD-Speicher, während P6-Instances bis zu 30 TB lokalen NVMe-SSD-Speicher für den schnellen Zugriff auf große Datensätze unterstützen. Mit Amazon Simple Storage Service (Amazon S3) können Sie auch praktisch unbegrenzten kostengünstigen Speicherplatz nutzen.

Amazon SageMaker AI ist ein komplett verwalteter Service zum Erstellen, Trainieren und Bereitstellen von ML-Modellen. Mit Amazon SageMaker HyperPod können Sie einfacher auf dutzende, hunderte oder tausende von GPUs skalieren, um ein Modell schnell in einem beliebigen Umfang zu trainieren, ohne sich Gedanken über die Einrichtung und Verwaltung von stabilen Trainingsclustern machen zu müssen. (P6e-GB200-Support kommt bald)

AWS-Deep-Learning-AMIs (DLAMI) bietet ML-Praktikern und -Forschern die Infrastruktur und Tools, um Deep Learning in der Cloud in jedem Maß zu beschleunigen. AWS Deep-Learning-Container sind Docker-Images, auf denen DL-Frameworks vorinstalliert sind, um die Bereitstellung benutzerdefinierter ML-Umgebungen zu optimieren, indem Sie den komplizierten Prozess der Erstellung und Optimierung Ihrer Umgebungen von Grund auf überspringen.

Wenn Sie es vorziehen, Ihre eigenen containerisierten Workloads über Container-Orchestrierungsdienste zu verwalten, können Sie P6e-GB200 UltraServer und P6-B200-Instances mit Amazon Elastic Kubernetes Service (Amazon EKS) oder Amazon Elastic Container Service (Amazon ECS) bereitstellen.

P6e UltraServer werden auch über NVIDIA NVIDIA DGX Cloud verfügbar sein, eine vollständig verwaltete Umgebung mit NVIDIAS vollständigem KI-Softwarepack. Mit NVIDIA DGX Cloud erhalten Sie die neuesten Optimierungen, Benchmarking-Rezepte und technisches Fachwissen von NVIDIA.

Weitere Informationen