Amazon-EC2-P5-Instances
GPU-basierte Instances mit Höchstleistung für Deep-Learning- und HPC-Anwendungen
Amazon Elastic Compute Cloud (Amazon EC2)-P5-Instances, betrieben mit den neuesten NVIDIA-H100-Tensor-Core-GPUs, bieten Höchstleistung in Amazon EC2 für Deep Learning (DL)- und High Performance Computing (HPC)-Anwendungen. Sie helfen Ihnen dabei, die Zeit bis zur Lösung im Vergleich zu GPU-basierten EC2-Instances der vorherigen Generation um das 4-fache zu verkürzen und die Kosten für das Training von ML-Modellen um bis zu 40 % zu senken. Mit P5-Instances können Sie Ihre Lösungen schneller weiterentwickeln und schneller auf den Markt bringen. Sie können P5-Instances für das Training und die Bereitstellung von immer komplexeren großen Sprachmodellen (LLMs) und Diffusionsmodellen verwenden, die die anspruchsvollsten generativen KI-Anwendungen antreiben. Diese Anwendungen umfassen die Beantwortung von Fragen, Codegenerierung, Video- und Bildgenerierung sowie Spracherkennung. Sie können P5-Instances auch verwenden, um anspruchsvolle HPC-Anwendungen in großem Maßstab für die pharmazeutische Forschung, seismische Analyse, Wettervorhersage und Finanzmodellierung bereitzustellen.
Um diese Leistungsverbesserungen und Kosteneinsparungen zu erzielen, ergänzen P5-Instances NVIDIA-H100-Tensor-Core-GPUs mit zweimal höherer CPU-Leistung, zweimal höherem Systemspeicher und viermal höherem lokalen Speicher im Vergleich zu GPU-basierten Instances der vorherigen Generation. Sie bieten marktführende Aufskalierungs-Fähigkeiten für verteiltes Training und eng gekoppelte HPC-Workloads mit bis zu 3 200 Gbit/s an Netzwerken mithilfe von Elastic Fabric Adapter (EFAv2) der zweiten Generation. Um umfangreiche Rechenleistung bei geringer Latenz bereitzustellen, werden P5-Instances in Amazon-EC2-UltraCluster bereitgestellt, die eine Skalierung auf bis zu 20 000 H100-GPUs ermöglichen. Diese sind mit einem nicht-blockierenden Netzwerk im Petabit-Bereich verbunden. P5-Instances in EC2-UltraCluster bieten bis zu 20 Exaflops an aggregierter Rechenleistung – eine Leistung, die der eines Supercomputers entspricht.
Jetzt P5-Instances für die zukünftige Verwendung reservieren
Mit Amazon-EC2-Kapazitätsblöcke für ML können Sie P5-Instances problemlos bis zu acht Wochen im Voraus reservieren. Sie können P5-Instances für eine Dauer von einem bis 14 Tagen und in Clustergrößen von einer bis 64 Instances (512 GPUs) reservieren, sodass Sie die Flexibilität haben, eine Vielzahl von Workloads auszuführen.
Vorteile
Parametermodelle über 100 B in großem Umfang trainieren
P5-Instances können extrem große generative KI-Modelle im großen Umfang trainieren und bieten eine bis zu 4-fache Leistung von GPU-basierten EC2-Instances der vorherigen Generation.
Zeit bis zur Lösung verkürzen und schneller iterieren
P5-Instances reduzieren die Trainingszeiten und die Zeit bis zur Lösung von Wochen auf nur wenige Tage. Dies hilft Ihnen, schneller zu iterieren und schneller auf den Markt zu kommen.
DL- und HPC-Infrastrukturkosten senken
P5-Instances bieten im Vergleich zu GPU-basierten EC2-Instances der vorherigen Generation Einsparungen bei den Kosten für DL-Training und HPC-Infrastruktur von bis zu 40 %.
Verteiltes Training und HPC mit Exascale-Computing ausführen
P5-Instances bieten EFAv2-Netzwerke mit bis zu 3 200 Gbit/s. Diese Instances werden in EC2-UltraCluster bereitgestellt und bieten eine aggregierte Rechenleistung von 20 Exaflops.
Funktionen
NVIDIA-H100-Tensor-Core-GPUs
P5-Instances bieten bis zu 8 NVIDIA-H100-GPUs mit insgesamt bis zu 640 GB HBM3-GPU-Speicher pro Instance. P5-Instances unterstützen bis zu 900 GB/s an NVSwitch-GPU-Interconnect (insgesamt 3,6 TB/s bisektionale Bandbreite in jeder Instance), sodass jede GPU mit jeder anderen GPU in derselben Instance mit Single-Hop-Latenz kommunizieren kann.
Neue Transformator-Engine und DPX-Anweisungen
NVIDIA-H100-GPUs verfügen über eine neue Transformer-Engine, die intelligent verwaltet und dynamisch zwischen FP8- und 16-Bit-Berechnungen wählt. Dieses Feature ermöglicht im Vergleich zu A100-GPUs der vorherigen Generation schnellere DL-Trainingsgeschwindigkeiten auf LLMs. Für HPC-Workloads verfügen NVIDIA-H100-GPUs über neue DPX-Befehle, die dynamische Programmieralgorithmen im Vergleich zu A100-GPUs weiter beschleunigen.
Leistungsstarkes Netzwerk
P5-Instances stellen EFAv2-Netzwerke mit bis zu 3 200 Gbit/s bereit. EFAv2 verbessert die Leistung der kollektiven Kommunikation bei verteilten Trainingsworkloads um bis zu 50 %. EFAv2 ist außerdem mit NVIDIA GPUDirect RDMA gekoppelt, um die GPU-zu-GPU-Kommunikation zwischen Servern mit geringer Latenz und Betriebssystemumgehung zu ermöglichen.
Leistungsstarker Speicher
P5-Instances unterstützen Amazon-FSx-für-Lustre-Dateisysteme, sodass Sie auf Daten mit einem Durchsatz von Hunderten von GB/s und Millionen von IOPS zugreifen können, die für umfangreiche DL- und HPC-Workloads erforderlich sind. Jede P5-Instance unterstützt außerdem bis zu 30 TB lokalen NVMe-SSD-Speicher für den schnellen Zugriff auf große Datensätze. Mit Amazon Simple Storage Service (Amazon S3) können Sie auch praktisch unbegrenzten kostengünstigen Speicherplatz nutzen.
EC2-UltraCluster der zweiten Generation
P5-Instances werden in EC2-UltraCluster der zweiten Generation bereitgestellt, die eine Netzwerkstruktur bereitstellen, die eine größere Skalierung, weniger Netzwerk-Hops im Cluster und eine geringere Latenz als UltraCluster der vorherigen Generation ermöglicht. P5-Instances in UltraCluster können auf bis zu 20 000 H100-GPUs skaliert werden, die mit einem Netzwerk im Petabit-Bereich verbunden sind, und bieten insgesamt 20 Exaflops an Rechenleistung.
Nahtlose Integration mit anderen AWS-Services
P5-Instances können mithilfe von AWS Deep Learning AMIs (DLAMI) und AWS-Deep-Learning-Containern bereitgestellt werden. Sie sind über verwaltete Services wie Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Batch und mehr verfügbar.
Erfahrungsberichte von Kunden
Anthropic baut zuverlässige, interpretierbare und steuerbare KI-Systeme, die viele Möglichkeiten bieten werden, kommerziellen und öffentlichen Nutzen zu schaffen.
„Bei Anthropic arbeiten wir daran, zuverlässige, interpretierbare und steuerbare KI-Systeme zu entwickeln. Die großen allgemeinen KI-Systeme von heute können zwar erhebliche Vorteile haben, aber sie können auch unvorhersehbar, unzuverlässig und undurchsichtig sein. Unser Ziel ist es, bei diesen Problemen Fortschritte zu erzielen und Systeme einzusetzen, die die Menschen für nützlich halten. Unsere Organisation ist eine der wenigen auf der Welt, die grundlegende Modelle für die DL-Forschung entwickelt. Diese Modelle sind hochkomplex, und um diese hochmodernen Modelle zu entwickeln und zu trainieren, müssen wir sie effizient auf große GPU-Cluster verteilen. Wir nutzen Amazon-EC2-P4-Instances heute ausgiebig und freuen uns über die Einführung von P5-Instances. Wir erwarten, dass sie im Vergleich zu P4d-Instances erhebliche Preis-/Leistungsvorteile bieten und dass sie in dem riesigen Umfang verfügbar sein werden, der für die Entwicklung von LLMs der nächsten Generation und verwandter Produkte erforderlich ist.“
Tom Brown, Cofounder, Anthropic
Cohere, ein führender Pionier im Bereich Sprach-KI, ermöglicht es jedem Entwickler und Unternehmen, unglaubliche Produkte mit weltweit führender Technologie zur natürlichen Sprachverarbeitung (NLP) zu entwickeln und gleichzeitig die Privatsphäre und Sicherheit seiner Daten zu gewährleisten
„Cohere ist führend, wenn es darum geht, Unternehmen dabei zu unterstützen, die Möglichkeiten der Sprach-KI zu nutzen, um Informationen auf natürliche und intuitive Weise zu erforschen, zu generieren, zu suchen und darauf zu reagieren, und zwar auf mehreren Cloud-Plattformen in der Datenumgebung, die für jeden Kunden am besten geeignet ist. Von NVIDIA H100 unterstützte Amazon-EC2-P5-Instances werden es Unternehmen ermöglichen, schneller zu erstellen, zu wachsen und zu skalieren, indem sie ihre Rechenleistung mit den hochmodernen LLM- und generativen KI-Funktionen von Cohere kombinieren.“
Aidan Gomez, CEO, Cohere
Hugging Face hat es sich zur Aufgabe gemacht, gutes ML zu demokratisieren.
„Als die am schnellsten wachsende Open-Source-Community für ML stellen wir jetzt über 150 000 vortrainierte Modelle und 25 000 Datensätze auf unserer Plattform für NLP, Computer Vision, Biologie, Reinforcement-Learning und mehr zur Verfügung. Angesichts erheblicher Fortschritte in den Bereichen LLMs und generativer KI arbeiten wir mit AWS zusammen, um die Open-Source-Modelle von morgen zu entwickeln und einzubringen. Wir freuen uns darauf, Amazon-EC2-P5-Instances über Amazon SageMaker in großem Maßstab in UltraClusters mit EFA zu verwenden, um die Bereitstellung neuer KI-Grundmodelle für alle zu beschleunigen.“
Julien Chaumond, CTO and Cofounder, Hugging Face
Produktdetails
| Instance-Größe | vCPU | Instance-Arbeitsspeicher (TiB) | GPU – H100 | GPU-Speicher | Netzwerkbandbreite | GPUDirectRDMA | GPU Peer-to-Peer | Instance-Speicher (TB) | EBS-Bandbreite (Gbit/s) |
p5.48xlarge |
192 |
2 |
8 |
640 GB HBM3 |
3 200 Gbit/s EFAv2 |
Ja |
900 GB/s NVSwitch |
8 x 3.84 NVMe-SSD |
80 |
*Die angegebenen Preise gelten für Linux/Unix in der AWS-Region USA Ost (Nord-Virginia) und wurden auf den nächsten Cent gerundet. Vollständige Preisdetails finden Sie auf der Preisseite von Amazon EC2.
Erste Schritte mit P5-Instances für ML
Verwenden von SageMaker
SageMaker ist ein komplett verwalteter Service zum Erstellen, Trainieren und Bereitstellen von ML-Modellen. In Verbindung mit P5-Instances können Sie einfacher auf dutzende, hunderte oder tausende von GPUs skalieren, um ein Modell schnell in einem beliebigen Umfang zu trainieren, ohne sich Gedanken über die Einrichtung von Clustern und Data Pipelines machen zu müssen.
Einsatz von DLAMI oder Deep-Learning-Containern
DLAMI bietet ML-Praktikern und -Forschern die Infrastruktur und die Werkzeuge, um DL in der Cloud zu beschleunigen, und zwar in jeder Größenordnung. Deep-Learning-Container sind Docker-Images, auf denen DL-Frameworks vorinstalliert sind, um die Bereitstellung benutzerdefinierter ML-Umgebungen zu optimieren, indem Sie den komplizierten Prozess der Erstellung und Optimierung Ihrer Umgebungen von Grund auf überspringen.
Verwenden von Amazon EKS oder Amazon ECS
Wenn Sie es vorziehen, Ihre eigenen containerisierten Workloads durch Container-Orchestrierungsservices zu verwalten, können Sie P5-Instances mit Amazon EKS oder Amazon ECS bereitstellen.
Erste Schritte mit P5-Instances für HPC
P5-Instances eignen sich hervorragend für die Ausführung für technische Simulationen, computergestütztes Finanzwesen, seismische Analysen, molekulare Modellierung, Genomik, Rendering und andere GPU-basierte HPC-Workloads. HPC-Anwendungen benötigen häufig eine hohe Netzwerkleistung, schnelle Speicherung, viel Arbeitsspeicher, hohe Datenverarbeitungskapazitäten oder alles gleichzeitig. P5-Instances unterstützen EFAv2, wodurch HPC-Anwendungen, die das Message Passing Interface (MPI) verwenden, auf Tausende von GPUs skaliert werden können. AWS Batch und AWS ParallelCluster helfen HPC-Entwicklern, verteilte HPC-Anwendungen schnell zu erstellen und zu skalieren.
Mehr erfahren »
Erste Schritte mit AWS
Erfahren Sie mehr in unseren 10-minütigen Tutorials
Erkunden und lernen Sie mit einfachen Tutorials.
Beginnen Sie mit der Entwicklung in der Konsole
Entwickeln Sie mithilfe von schrittweisen Anleitungen, die Ihnen helfen, Ihr AWS-Projekt zu starten.