P4 Instances von Amazon EC2

Höchste Leistung für ML-Training und HPC-Anwendungen in der Cloud

Amazon EC2 P4d Instances bieten die höchste Leistung für Machine Learning (ML) Training und High Performance Computing (HPC) Anwendungen in der Cloud. P4d-Instances werden von den neuesten NVIDIA-A100-Tensor-Core-GPUs angetrieben und bieten einen branchenführenden hohen Durchsatz und eine niedrige Latenz im Netzwerk. Diese Instances sind die ersten in der Cloud, die 400-Gbit/s-Instance-Netzwerke unterstützen. P4d-Instances bieten bis zu 60 % niedrigere Kosten für das Training von ML-Modellen, einschließlich einer durchschnittlich 2,5 Mal besseren Leistung für Deep-Learning-Modelle im Vergleich zu P3- und P3dn-Instances der vorherigen Generation.

Amazon-EC2-P4d-Instances werden in Hyperscale-Clustern namens EC2 UltraClusters bereitgestellt, die aus den leistungsstärksten Computing-, Netzwerk- und Speicherleistungen in der Cloud bestehen. Jeder EC2 UltraCluster ist einer der leistungsstärksten Supercomputer der Welt, mit dem Kunden ihre komplexesten Multi-Node-ML-Trainings und verteilten HPC-Workloads ausführen können. Kunden können ganz einfach von einigen wenigen bis zu Tausenden von NVIDIA A100 GPUs in den EC2 UltraClustern basierend auf ihren ML- oder HPC-Projektanforderungen skalieren.

Forscher, Datenwissenschaftler und Entwickler können P4d-Instances nutzen, um ML-Modelle für Anwendungsfälle wie natürliche Sprachverarbeitung, Objekterkennung und -klassifizierung sowie Empfehlungs-Engines zu trainieren und HPC-Anwendungen wie pharmazeutische Entdeckung, seismische Analyse und Finanzmodellierung auszuführen. Im Gegensatz zu On-Premise-Systemen können Kunden auf praktisch unbegrenzte Computing- und Speicherkapazität zugreifen, ihre Infrastruktur basierend auf den Geschäftsanforderungen skalieren und einen Multi-Knoten-ML-Trainingsauftrag oder eine eng gekoppelte verteilte HPC-Anwendung innerhalb von Minuten ohne Einrichtungs- oder Wartungskosten einrichten.

Ankündigung der neuen Amazon-EC2-P4d-Instances (2:00)

Haben Sie Fragen oder benötigen Sie Hilfe zu EC2 UltraClustern?

Hilfe anfordern »

High-Scale-ML-Training und HPC mit EC2 P4d UltraClustern

EC2 UltraCluster von P4d-Instances vereinen Hochleistungs-Computing, Networking und Speicher zu einem der leistungsstärksten Supercomputer der Welt. Jeder EC2 UltraCluster von P4d-Instances umfasst mehr als 4.000 der neuesten NVIDIA-A100-GPUs, eine blockierungsfreie Netzwerkinfrastruktur im Petabit-Bereich und einen Speicher mit hohem Durchsatz und niedriger Latenz mit FSx for Lustre. Jeder ML-Entwickler, -Forscher oder -Datenwissenschaftler kann P4d-Instances in EC2 UltraClustern einrichten, um Zugriff auf die Leistung der Supercomputer-Klasse mit einem Nutzungsmodell mit nutzungsbasierter Zahlung zu erhalten, um seine komplexesten Multi-Knoten-ML-Trainings- und HPC-Workloads auszuführen.

Fordern Sie bei Fragen oder zur Unterstützung zu EC2 UltraClustern Hilfe an.

Nur in manchen Regionen verfügbar. Für Informationen zu den unterstützten Regionen und weitere Informationen zu EC2 UltraClustern kontaktieren Sie uns.

Vorteile

ML-Trainingszeit von Tagen auf Minuten reduzieren

Mit Core-GPUs von NVIDIA A100 Tenso der neuesten Generation bietet jede Amazon-EC2-P4d-Instance im Vergleich zu P3-Instances der vorherigen Generation im Durchschnitt eine 2,5 Mal bessere Deep-Learning-Leistung. EC2 UltraCluster von P4d-Instances ermöglichen es Entwicklern, Datenwissenschaftlern und Forschern, ihre komplexesten ML- und HPC-Workloads auszuführen, indem sie ohne Vorabkosten oder langfristige Verpflichtungen auf Leistung der Supercomputing-Klasse zugreifen. Die reduzierte Trainingszeit mit P4d-Instances steigert die Produktivität und ermöglicht es Entwicklern, sich auf ihre Aufgabe zu konzentrieren, ML-Intelligenz in Geschäftsanwendungen zu integrieren.

Führen Sie das komplexeste Multi-Knoten-ML-Training mit hoher Effizienz durch

Entwickler können mit EC2 UltraClustern von P4d-Instances nahtlos auf bis zu Tausende von GPUs skalieren. Ein Netzwerk mit hohem Durchsatz und geringer Latenzzeit mit Unterstützung für 400-Gbit/s-Instance-Netzwerke, Elastic Fabric Adapter (EFA) und GPUDirect-RDMA-Technologie helfen beim schnellen Trainieren von ML-Modellen mit anpassbaren/verteilten Techniken. Elastic Fabric Adapter (EFA) verwendet die NVIDIA Collective Communications Library (NCCL), um auf Tausende von GPUs zu skalieren und die GPUDirect RDMA-Technologie ermöglicht eine GPU-zu-GPU-Kommunikation mit geringer Latenz zwischen P4d-Instances.

Senken Sie die Infrastrukturkosten für ML-Trainings und HPC

Amazon-EC2-P4d-Instances bieten im Vergleich zu P3-Instances bis zu 60 % niedrigere Kosten für das Training von ML-Modellen. Darüber hinaus können P4d-Instances als Spot-Instances erworben werden. Spot-Instances verwenden ungenutzte EC2-Instance-Kapazität und können Ihre Kosten für Amazon EC2 vergleichen mit On-Demand-Instances deutlich um bis zu 90 % senken. Durch die geringeren Kosten für ML-Trainings mit P4d-Instances können Budgets neu zugewiesen werden, um mehr ML-Intelligenz in Geschäftsanwendungen zu integrieren.

Einfacher Einstieg und Skalierung mit AWS-Services

Deep-Learning-AMIs und Deep-Learning-Container erleichtern die Bereitstellung von P4d-Deep-Learning-Umgebungen in Minuten, da sie die erforderlichen Deep-Learning-Framework-Bibliotheken und -Tools enthalten. Sie können diesen Bildern auch ganz einfach Ihre eigenen Bibliotheken und Tools hinzufügen. P4d-Instances unterstützen gängige ML-Frameworks wie TensorFlow, PyTorch und MXNet. Darüber hinaus werden Amazon-EC2-P4d-Instances von wichtigen AWS-Services für ML, Verwaltung und Orchestrierung wie Amazon SageMaker, Amazon Elastic Kubernetes Service (EKS), Amazon Elastic Container Service (ECS), AWS Batch und AWS ParallelCluster unterstützt.

Funktionen

Angetrieben von Core-GPUs von NVIDIA A100 Tensor

Core-GPUs von NVIDIA A100 Tensor bieten beispiellose Beschleunigung nach Maß für ML und High Performance Computing (HPC). Die Tensor-Cores der dritten Generation von NVIDIA A100 beschleunigen jeden Präzisions-Workload und verkürzen die Zeit für die Erkenntnisserlangung und Markteinführung. Jeder A100-Grafikprozessor bietet mehr als die 2,5-fache Computing-Leistung im Vergleich zur vorherigen Generation des V100-Grafikprozessors und ist mit 40 GB HBM2 (in P4d-Instances) oder 80 GB HBM2e (in P4de-Instances) Hochleistungs-Grafikprozessorspeicher ausgestattet. Ein höherer GPU-Speicher kommt insbesondere Workloads zugute, die auf großen Datensätzen mit hochauflösenden Daten trainieren. NVIDIA A100 GPUs nutzen den NVSwitch-GPU-Interconnect-Durchsatz, sodass jede GPU mit jeder anderen GPU in derselben Instance mit demselben bidirektionalen Durchsatz von 600 GB/s und mit Single-Hop-Latenz kommunizieren kann.

Hochleistungsnetzwerk

P4d-Instances bieten ein 400-Gbit/s-Netzwerk, um Kunden dabei zu helfen, ihre verteilten Workloads, wie z.wie Multi-Knoten-Training effizienter mit Networking mit hohem Durchsatz zwischen P4d-Instances sowie zwischen einer P4d-Instance und Speicherservices wie Amazon S3 und FSx for Lustre. Elastic Fabric Adapter (EFA) ist eine benutzerdefinierte Netzwerkschnittstelle, die von AWS entwickelt wurde, um ML- und HPC-Anwendungen auf Tausende von GPUs zu skalieren. Um die Latenz weiter zu reduzieren, ist EFA mit NVIDIA GPUDirect RDMA gekoppelt, um eine GPU-zu-GPU-Kommunikation mit niedriger Latenz zwischen Servern mit Betriebssystemumgehung zu ermöglichen.

Hoher Durchsatz, Speicher mit geringer Latenz

Kunden können mit FSx for Lustre auf Speicher mit hohem Durchsatz und geringer Latenz im PetaByte-Maßstab zugreifen oder mit Amazon S3 auf praktisch unbegrenzten kostengünstigen Speicher mit 400 Gbit/s-Geschwindigkeit zugreifen. Für Workloads, die schnellen Zugriff auf große Datensätze benötigen, enthält jede P4d-Instance auch 8 TB NVMe-basierten SSD-Speicher mit 16 GigaByte/s Lesedurchsatz.

Baut auf dem AWS Nitro System auf

Die P4d-Instances basieren auf dem AWS Nitro System, einer umfangreichen Sammlung von Modulbausteinen, die viele der herkömmlichen Virtualisierungsfunktionen auf dedizierte Hardware und Software auslagern, um hohe Leistung, hohe Verfügbarkeit und hohe Sicherheit zu bieten und gleichzeitig den Virtualisierungsaufwand zu reduzieren.

Erfahrungsberichte von Kunden

Das 2015 gegründete Toyota Research Institute (TRI) arbeitet an der Entwicklung von automatisiertem Fahren, Robotik und anderen Verstärkungstechniken für Menschen für Toyota.

„Bei TRI arbeiten wir daran, eine Zukunft aufzubauen, in der jeder die Freiheit hat, sich zu bewegen“, sagte Mike Garrison, Technical Lead, Infrastructure Engineering bei TRI. „Die P3-Instances der vorherigen Generation haben uns geholfen, unsere Zeit zum Trainieren von Modellen für Machine Learning von Tagen auf Stunden zu verkürzen und wir freuen uns auf die Verwendung von P4d-Instances, da der zusätzliche GPU-Speicher und effizientere Float-Formate es unserem Team für Machine Learning ermöglichen, mit komplexeren Modellen noch schneller zu trainieren.“

„Bei TRI-AD arbeiten wir daran, eine Zukunft aufzubauen, in der jeder die Freiheit hat, sich zu bewegen und zu erkunden, mit dem Fokus darauf, Verletzungen und Todesfälle durch Fahrzeuge durch adaptives Fahren und Smart City zu reduzieren. Durch den Einsatz von Amazon-EC2-P4d-Instances konnten wir unsere Trainingszeit für die Objekterkennung im Vergleich zu GPU-Instances der vorherigen Generation um 40 % reduzieren, ohne dass vorhandene Codes geändert werden mussten“, sagte Junya Inada, Director of Automated Driving (Recognition) bei TRI-AD.

Jack Yan, Senior Director of Infrastructure Engineering bei TRI-AD, sagte: „Durch den Einsatz von Amazon-EC2-P4d-Instances konnten wir unsere Trainingskosten im Vergleich zu GPU-Instances der vorherigen Generation sofort senken, sodass wir die Anzahl der Teams erhöhen konnten, die am Modelltraining arbeiten. Die Netzwerkverbesserungen in P4d ermöglichten es uns, effizient auf Dutzende von Instances zu skalieren, was uns erhebliche Agilität verlieh, Modelle schnell zu optimieren, neu zu trainieren und in Testfahrzeugen oder Simulationsumgebungen für weitere Tests bereitzustellen.“

GE Healthcare ist ein weltweit führender Innovator für Medizintechnik und digitale Lösungen. GE Healthcare ermöglicht Ärzten, schnellere und fundiertere Entscheidungen durch intelligente Geräte, Datenanalysen, Anwendungen und Services zu treffen, die von der Edison-Intelligence-Plattform unterstützt werden.

„Bei GE Healthcare bieten wir Klinikern Tools, die ihnen helfen, Daten zu aggregieren, KI und Analysen auf diese Daten anzuwenden und Erkenntnisse zu gewinnen, die die Patientenergebnisse verbessern, die Effizienz steigern und Fehler vermeiden“, sagte Karley Yoder, VP & GM, Artificial Intelligence. „Unsere medizinischen Bildgebungsgeräte erzeugen riesige Datenmengen, die von unseren Datenwissenschaftlern verarbeitet werden müssen. Bei früheren GPU-Clustern würde es Tage dauern, komplexe KI-Modelle wie Progressive GANs für Simulationen zu trainieren und die Ergebnisse anzuzeigen. Durch die Verwendung der neuen P4d-Instances wurde die Verarbeitungszeit von Tagen auf Stunden reduziert. Wir haben bei Trainingsmodellen mit verschiedenen Bildgrößen eine zwei- bis dreimal höhere Geschwindigkeit festgestellt, während wir mit einer höheren Batchgröße eine bessere Leistung und mit einem schnelleren Modellentwicklungszyklus eine höhere Produktivität erzielen.“

HEAVY.AI ist ein Pionier in der beschleunigten Analytik. Die HEAVY.AI-Plattform wird in Unternehmen und Behörden verwendet, um Erkenntnisse für Daten zu gewinnen, die über die Grenzen der gängigen Analysetools hinausgehen.

„Bei HEAVY.AI arbeiten wir daran, eine Zukunft aufzubauen, in der Datenwissenschaft und Analytik zusammenlaufen, um Datensilos aufzubrechen und zu verschmelzen. Kunden nutzen ihre enormen Datenmengen, die Standort und Zeit beinhalten können, um sich nicht nur ein vollständiges Bild davon zu machen, was passiert, sondern auch wann und wo dies passiert und zwar durch eine granulare Visualisierung von räumlichen und zeitlichen Daten. Unsere Technologie ermöglicht es, sowohl den Wald als auch die Bäume zu sehen.“ sagte (Ray Falcione), VP of US Public Sector bei HEAVY.AI. „Durch den Einsatz von Amazon-EC2-P4d-Instances konnten wir die Kosten für die Bereitstellung unserer Plattform im Vergleich zu GPU-Instances der vorherigen Generation deutlich senken und so massive Datensätze kostengünstig skalieren. Die Netzwerkverbesserungen von A100 haben unsere Effizienz bei der Skalierung auf Milliarden von Datenzeilen erhöht und es unseren Kunden ermöglicht, noch schneller Erkenntnisse zu gewinnen.“

Zenotech Ltd definiert Engineering online neu durch den Einsatz von HPC Clouds, die On-Demand-Lizenzmodelle zusammen mit extremen Leistungsvorteilen durch den Einsatz von GPUs bereitstellen.

„Bei Zenotech entwickeln wir die Werkzeuge, die es Designern ermöglichen, effizientere und umweltfreundlichere Produkte zu entwickeln. Wir arbeiten branchenübergreifend und unsere Tools bieten durch den Einsatz von groß angelegten Simulationen bessere Erkenntnisse für die Produktleistung.“ sagte Jamil Appa, Direktor von Zenotech. „Der Einsatz von AWS-P4d-Instances ermöglicht es uns, unsere Simulationen 3,5 Mal schneller auszuführen als mit der vorherigen GPU-Generation. Diese Beschleunigung verkürzt unsere Lösungszeit erheblich und ermöglicht es unseren Kunden, Designs schneller auf den Markt zu bringen oder Simulationen mit höherer Genauigkeit durchzuführen, als dies bisher möglich war.“

Aon ist ein weltweit führendes professionelles Dienstleistungsunternehmen, das eine breite Palette von Risiko-, Altersvorsorge- und Gesundheitslösungen anbietet. Aon PathWise ist eine GPU-basierte und skalierbare HPC-Risikoverwaltungslösung, mit der Versicherer und Rückversicherer, Banken und Pensionsfonds die wichtigsten Herausforderungen von heute wie Hedge-Strategietests, regulatorische und wirtschaftliche Prognosen sowie Budgetierung bewältigen können. 

„Bei PathWise Solutions Group LLC ermöglicht unser Produkt Versicherungsunternehmen, Rückversicherern und Pensionskassen den Zugang zu Technologien der nächsten Generation, um die wichtigsten Versicherungsherausforderungen von heute wie Machine Learning, Hedge-Strategietests, regulatorische und finanzielle Berichterstattung, Geschäftsplanung und Wirtschaftsprognosen und die Entwicklung neuer Produkte und Preise schnell zu lösen“, sagte Peter Phillips, Präsident und CEO der PathWise Solutions Group. „Durch den Einsatz von Amazon-EC2-P4d-Instances sind wir zum ersten Mal in der Lage, erstaunliche Geschwindigkeitsverbesserungen für Berechnungen mit einfacher und doppelter Genauigkeit gegenüber GPU-Instances der vorherigen Generation für die anspruchsvollsten Berechnungen zu erzielen. Geschwindigkeit zählt“, sagt Phillips, „und wir bieten unseren Kunden dank der neuen Instances von AWS weiterhin einen sinnvollen Mehrwert und die neueste Technologie.“

Rad AI besteht aus Radiologie- und KI-Experten und entwickelt Produkte, die die Produktivität von Radiologen maximieren und letztendlich das Gesundheitswesen zugänglicher machen und die Patientenergebnisse verbessern.

„Unsere Mission bei Rad AI ist es, den Zugang zu und die Qualität der Gesundheitsversorgung für alle zu verbessern. Mit einem Fokus auf den Workflow der medizinischen Bildgebung spart Rad AI Radiologen Zeit, reduziert das Vorkommen von Burnout und verbessert die Genauigkeit“, sagte Doktor Gurson, Mitbegründer von Rad AI. „Wir verwenden KI, um radiologische Arbeitsabläufe zu automatisieren und die radiologische Berichterstattung zu optimieren. Mit den neuen EC2-P4d-Instances haben wir eine schnellere Inferenz und die Möglichkeit gesehen, Modelle 2,4 Mal schneller mit höherer Genauigkeit zu trainieren als bei P3-Instances der vorherigen Generation. Dies ermöglicht eine schnellere und genauere Diagnose und einen besseren Zugriff zu hochwertigen Radiologie-Services, die von unseren Kunden in den gesamten USA angeboten werden."

Lesen Sie das Fallbeispiel, um weitere Informationen zu erhalten »

Produktdetails

Instance-Größe vCPUs Instance-Arbeitsspeicher (GiB) GPU – A100 GPU-Speicher Netzwerkbandbreite (Gbps) GPUDirect RDMA GPU-Peer-to-Peer Instance-Speicher (GB) EBS-Bandbreite (GBit/s) On-Demand-Preis/Std. 1 Jahr lang Reserved Instance pro Stunde* 3 Jahr lang Reserved Instance pro Stunde*
p4d.24xlarge 96 1152 8 320 GB
HBM2
400 ENA und EFA Ja 600 GB/s NVSwitch 8 x 1000 NVMe-SSD 19 32,77 USD 19,22 USD 11,57 USD
p4de.24xlarge (Vorschau) 96 1152 8 640 GB
HBM2e
400 ENA und EFA Ja 600 GB/s NVSwitch 8 x 1000 NVMe-SSD 19 40,96 USD 24,01 USD 14,46 USD
* - Die angegebenen Preise gelten für Linux/Unix in der AWS-Region USA Ost (Nord-Virginia) und wurden auf den nächsten Cent gerundet. Vollständige Preisdetails finden Sie auf der Preisseite von Amazon EC2.

P4d-Instances von Amazon-EC2 sind in den Regionen USA Ost (Nord-Virginia und Ohio), USA West (Oregon), Europa (Irland und Frankfurt) und Asien-Pazifik (Tokio und Seoul) verfügbar. P4de-Instances von Amazon-EC2 sind in den AWS-Regionen USA Ost (Nord-Virginia) und USA West (Oregon) verfügbar.

Kunden können P4d- und P4de-Instances als On-Demand-Instances, Reserved Instances, Spot-Instances, Dedicated Hosts oder als Teil eines Savings Plans erwerben.

Erste Schritte mit den P4d-Instances von Amazon EC2 beim Machine Learning

Verwendung von Amazon SageMaker

Amazon SageMaker ist ein komplett verwalteter Service zum Erstellen, Trainieren und Bereitstellen von ML-Modellen. In Verbindung mit Amazon-EC2-P4d-Instances können Kunden problemlos auf dutzende, hunderte oder tausende von GPUs skalieren, um ein Modell schnell in einem beliebigen Umfang zu trainieren, ohne sich Gedanken über die Einrichtung von Clustern und Data Pipelines machen zu müssen.

Verwenden von AWS-Deep-Learning-AMI oder Deep-Learning-Containern

Die AWS-Deep-Learning-AMIs (DLAMI) bieten ML-Praktikern und -Forschern die Infrastruktur und Tools, um Deep Learning in der Cloud in jedem Maß zu beschleunigen. AWS Deep Learning Containers sind Docker-Images, die mit Deep-Learning-Frameworks vorinstalliert sind, um die schnelle Implementierung von benutzerdefinierten ML-Umgebungen zu vereinfachen, indem sie es Ihnen ermöglichen, den komplizierten Prozess der Erstellung und Optimierung von Umgebungen zu überspringen.

Verwenden von Amazon Elastic Kubernetes Service (EKS) oder Elastic Container Service (ECS)

Kunden, die es vorziehen, ihre eigenen containerisierten Workloads über Container-Orchestrierungsdienste zu verwalten, können Amazon-EC2-P4d-Instances mit Amazon EKS oder ECS bereitstellen.

Erste Schritte mit Amazon-EC2-P4d-Instances für High Performance Computing

Amazon-EC2-P4d-Instances sind eine ideale Plattform zum Ausführen von technischen Simulationen, Computer-Finanzberechnungen, seismischer Analyse, Molekularmodellierung, Genomik, Rendering und anderen GPU-basierten High Performance Computing (HPC)-Workloads. HPC-Anwendungen benötigen häufig eine hohe Netzwerkleistung, schnelle Speicherung, viel Arbeitsspeicher, hohe Datenverarbeitungskapazitäten oder alles gleichzeitig. P4d-Instances unterstützen Elastic Fabric Adapter (EFA), mit dem HPC-Anwendungen, die das Message Passing Interface (MPI) verwenden, auf Tausende von GPUs skaliert werden können. AWS Batch und AWS ParallelCluster ermöglichen HPC-Entwicklern, verteilte HPC-Anwendungen schnell zu erstellen und zu skalieren.

Weitere Informationen »

Blog-Beiträge und Artikel

Weitere Ressourcen

EC2 UltraCluster von P4d-Instances (1:59)
Amazon EC2 P4d vs. P3: Natürliche Sprachverarbeitung (0:34)
Amazon EC2 P4d vs. P3: Sprache-zu-Text (0:33)
Amazon EC2 P4d vs. P3: Bildklassifizierung (0:37)

Erste Schritte mit AWS

Registrieren Sie sich für ein AWS-Konto

Registrieren Sie sich für ein AWS-Konto

Sie erhalten sofort Zugriff auf das kostenlose Kontingent für AWS.

Mit einfachen Tutorials lernen

Erfahren Sie mehr in unseren 10-minütigen Tutorials

Entdecken und lernen Sie mit einfachen Tutorials.

Beginnen Sie mit der Entwicklung mit EC2 in der Konsole

Beginnen Sie mit der Entwicklung in der Konsole

Erstellen Sie mithilfe von schrittweisen Anleitungen AWS-Projekte.