Amazon EC2 P3-Instances

Beschleunigen Sie Machine-Learning- und High-Performance-Computing-Anwendungen mit leistungsstarken GPUs

Amazon EC2 P3-Instances ermöglichen High Performance Computing in der Cloud mit bis zu acht NVIDIA® Tesla® V100-GPUs und einem Netzwerkdurchsatz von bis 100 GBit/s für Machine-Learning- und HPC-Anwendungen. Diese Instances bieten bis zu 1 Petaflop Mixed-Precision-Leistung pro Instance und beschleunigen Machine-Learning- und High Performance Computing-Anwendungen so in erheblichem Maße. Amazon EC2 P3-Instances haben bewiesen, dass sie nicht nur die Machine-Learning-Trainingszeiten von Tagen auf Minuten reduzieren, sondern auch die Anzahl der abgeschlossenen Simulationen für High Performance Computing um das 3 bis 4fache erhöhen.
Mit bis zu dem 4fachen der Bandbreite von P3.16xlarge-Instances bilden Amazon EC2 P3dn.24xlarge-Instances das neueste Mitglied der P3-Familie und sind optimal geeignet für verteilte Machine-Learning- und HPC-Anwendungen. Diese Instances bieten einen Netzwerkdurchsatz von bis zu 100 GBit/s, 96 angepasste und skalierbare Intel® Xeon® (Skylake)-vCPUs, acht NVIDIA® Tesla® V100-GPUs mit jeweils 32 GB Arbeitsspeicher und 1,8 TB lokalem, NVMe-basierten SSD-Speicher.

In Kürze verfügbar: Amazon EC2 P3dn.24xlarge – die bis dato leistungsstärkste P3-Instance

Optimiert für verteiltes Machine-Learning-Training und High Performance Computing

ReInvent_HA_P3_EDITORIAL

Nutzen

VERKÜRZUNG DER MACHINE-LEARNING-TRAININGSZEIT VON TAGEN AUF MINUTEN

Für Datenwissenschaftler, Forscher und Entwickler, die ML-Anwendungen beschleunigen müssen, gelten Amazon EC2 P3-Instances als die leistungsstärksten in der Cloud verfügbaren Instances für das ML-Training. Amazon EC2 P3-Instances besitzen bis zu acht NVIDIA Tesla V100-GPUs der neuesten Generation, die bis zu einem Petaflop Mixed-Precision-Leistung bieten und ML-Verarbeitungslasten erheblich beschleunigen. Ein schnelleres Modelltraining ermöglicht Datenwissenschaftlern und Machine-Learning-Ingenieuren schnellere Iterationen, Training von mehr Modellen und höhere Genauigkeit.

KOSTENGÜNSTIGSTE LÖSUNG DER BRANCHE FÜR ML-TRAINING

Eine der leistungsstärksten GPU-Instances in der Cloud, kombiniert mit flexiblen Preismodellen, bedeuten eine äußerst kostengünstige Lösung für das Machine-Learning-Training. Wie bei Amazon EC2-Instances üblich, sind P3-Instances als On-Demand Instances, Reserved Instances oder Spot Instances verfügbar. Spot Instances nutzen nicht abgerufene EC2-Instance-Kapazität und reduzieren Ihre Amazon EC2-Kosten im Vergleich zu den On-Demand-Preisen deutlich um bis zu 70 % Prozent.

FLEXIBLES, LEISTUNGSSTARKES HIGH PERFORMANCE COMPUTING

Anders als interne Systeme bietet High Performance Computing auf Amazon EC2 P3-Instances nicht nur praktisch unbegrenzte Kapazität zum Skalieren Ihrer Infrastruktur, sondern auch die entsprechende Flexibilität, um Ressourcen problemlos und so oft zu ändern, wie Ihre Verarbeitungslasten dies erfordert. Sie können Ihre Ressourcen so konfigurieren, dass Sie die Anforderungen Ihrer Anwendung erfüllen, und ein HPC-Cluster innerhalb von Minuten starten, wobei Sie nur für das bezahlen, was Sie nutzen.

INTEGRATION IN AWS MACHINE-LEARNING-SERVICES

Amazon EC2 P3-Instances arbeiten optimal mit Amazon SageMaker zusammen und bieten so eine leistungsstarke und intuitive, umfassende Machine-Learning-Plattform. Amazon SageMaker ist eine komplett verwaltete Machine-Learning-Plattform, mit der Sie Machine-Learning-Modelle schnell und problemlos erstellen, trainieren und bereitstellen können. Zudem lassen sich Amazon EC2 P3-Instances in AWS Deep Learning Amazon Machine Images (AMIs) integrieren, die in gängigen Deep-Learning-Frameworks vorinstalliert sind. So können Sie schneller und leichter Machine-Learning-Training und Inferenz umsetzen.

UNTERSTÜTZUNG ALLER WICHTIGEN MACHINE-LEARNING-FRAMEWORKS

Amazon EC2 P3-Instances unterstützen alle wichtigen Machine-Learning-Frameworks, darunter TensorFlow, PyTorch, Apache MXNet, Caffe, Caffe2, Microsoft Cognitive Toolkit (CNTK), Chainer, Theano, Keras, Gluon und Torch. Sie verfügen nun über die nötige Flexibilität, um das Framework auszuwählen, das sich für Ihre Anwendung am besten eignet.

Skalierbares Machine-Learning-Training mit mehreren Knoten

Sie können zur Beschleunigung von Machine-Learning-Modellen mehrere Amazon EC2 P3-Instances mit einem Netzwerkdurchsatz von bis zu 100 GBit/s verwenden. Mit einem höheren Netzwerkdurchsatz können Entwickler Engpässe bei Datenübertragungen entfernen und ihre Modelltrainingsaufgaben auf mehrere P3-Instances effizient skalieren. Kunden haben es geschafft, ResNet-50, ein bekanntes Image-Klassifizierungsmodell, auf Basis von 16 P3-Instances in nur 18 Minuten auf die Standard-Branchengenauigkeit zu trainieren. Dieses Leistungsvermögen war bei den meisten ML-Kunden bis vor Kurzem nicht erreichbar, da große CapEx-Investitionen erforderlich waren, um standortbasierte GPU-Cluster aufzubauen. Mit P3-Instances und deren Verfügbarkeit über ein On-Demand-Nutzungsmodell ist dieses hohe Leistungsvermögen nun für alle Entwickler und Machine-Learning-Techniker erreichbar.

Kundenerfahrungen

200x100_AirBNB_Logo

Airbnb setzt Machine Learning ein, um Suchempfehlungen zu optimieren und die dynamische Preisgestaltung für die Gastgeber zu verbessern, was zu mehr Buchungen führt. Mit Amazon EC2 P3-Instances hat Airbnb die Möglichkeit, Trainings-Verarbeitungslasten schneller auszuführen, mehr zu iterieren, bessere Modelle für das Machine Learning zu entwickeln und die Kosten zu senken.

salesforce_logo_200x100

Salesforce nutzt Machine Learning für Einstein Vision und ermöglicht Entwicklern damit, die Leistung der Bilderkennung für Anwendungsfälle wie visuelle Suche, Markenerkennung und Produktidentifizierung zu nutzen. Amazon EC2 P3-Instances ermöglichen es Entwicklern, Deep-Learning-Modelle schneller zu trainieren, sodass sie ihre Machine-Learning-Ziele schnell erreichen.

western-digital_200x100

Western Digital nutzt High Performance Computing (HPC) zur Durchführung zehntausender Simulationen für Materialwissenschaften, Wärmeströme, Magnetik und Datenübertragung, um die Leistung und Qualität von Festplatten- und Speicherlösungen zu verbessern. Durch frühzeitige Tests bieten Amazon EC2 P3-Instances Entwicklungsteams die Möglichkeit, Simulationen mindestens drei Mal schneller als mit älteren Lösungen durchzuführen.  

schrodinger-200x100

Schrödinger nutzt High Performance Computing (HPC) zur Entwicklung von Vorhersagemodellen, um den Erkenntnis- und Optimierungsumfang zu erweitern und Kunden die Möglichkeit zu geben, lebensrettende Arzneimittel schneller auf den Markt zu bringen. Mit Amazon EC2 P3-Instances kann Schrodinger vier Mal so viele Simulationen an einem Tag durchführen wie mit P2-Instances.  

Amazon EC2 P3-Instances und Amazon SageMaker

Die schnellste Art, Machine-Learning-Modelle zu trainieren und auszuführen

Amazon SageMaker ist ein komplett verwalteter Service zum Erstellen, Trainieren und Bereitstellen von Machine-Learning-Modellen. In Verbindung mit Amazon EC2 P3-Instances können Kunden problemlos auf dutzende, hunderte oder tausende von GPUs skalieren, um ein Modell schnell in einem beliebigen Umfang zu trainieren, ohne sich Gedanken über die Einrichtung von Clustern und Data Pipelines machen zu müssen. Sie können auch auf Ressourcen von Amazon Virtual Private Cloud (Amazon VPC) zugreifen, um Workflows in Amazon SageMaker zu trainieren und zu hosten. Mit dieser Funktion können Sie Amazon Simple Storage Service-(Amazon S3)-Buckets verwenden, auf die nur über Ihre VPC zugegriffen werden kann, um Trainingsdaten zu speichern und die aus dem Trainingsprozess abgeleiteten Modellartefakte zu speichern und zu hosten. Zusätzlich zu S3 können Modelle auf alle anderen in der VPC enthaltenen AWS-Ressourcen zugreifen. Weitere Informationen.

Entwicklung

Amazon SageMaker vereinfacht die Entwicklung von Machine-Learning-Modellen und das Vorbereiten dieser auf das Training. Mit dieser Lösung haben Sie alles, was Sie benötigen, um Ihre Trainingsdaten schnell zu verbinden und den besten Algorithmus und das beste Framework für Ihre Anwendung auszuwählen und zu optimieren. Amazon SageMaker beinhaltet gehostete Jupyter-Notebooks, mit denen Sie Ihre in Amazon S3 gespeicherten Trainingsdaten einfach sondieren und visualisieren können.  Sie können außerdem die Notebook-Instance zum Schreiben von Code verwenden, um Modell-Training-Jobs zu erstellen, Modelle auf Amazon SageMaker-Hosting bereitzustellen und Ihre Modelle zu testen oder zu validieren.

Trainieren

Sie können mit einem einzigen Klick in der Konsole oder mit einem API-Aufruf damit beginnen, Ihr Modell zu trainieren. Zur Leistungsoptimierung mit NVIDIA-GPUs sind in Amazon SageMaker die aktuellen Versionen von TensorFlow und Apache MXNet sowie Unterstützung für CUDA9-Bibliotheken vorkonfiguriert. Außerdem kann Ihr Modell mit der Hyperparameter-Optimierung durch eine intelligente Abstimmung verschiedener Kombinationen von Modellparametern automatisch angepasst werden, um möglichst genaue Vorhersagen zu erhalten. Bei umfangreicheren Anforderungen können Sie dutzende von Instances nutzen, um eine schnellere Modellerstellung zu unterstützen.

Bereitstellen

Nach dem Training können Sie Ihr Modell mit einem Klick in verschiedenen Availability Zones auf sich automatisch skalierenden Amazon EC2-Instances bereitstellen. In der Produktion übernimmt Amazon SageMaker die Verwaltung der Datenverarbeitungsinfrastruktur (Zustandsprüfungen durchführen, Sicherheitspatches einspielen und andere routinemäßige Wartungsaufgaben). Dabei sind die Überwachungs- und Protokollierungsfunktionen von Amazon CloudWatch integriert.

 

Amazon EC2 P3-Instances und AWS Deep Learning-AMIs

Vorkonfigurierte Entwicklungsumgebungen, um schnell mit dem Erstellen von Deep-Learning-Anwendungen beginnen zu können

Eine Alternative zu Amazon SageMaker für Entwickler mit einem größeren Anpassungsbedarf sind AWS Deep Learning-AMIs, die Machine-Learning-Nutzern und -Forschern die Infrastruktur und Tools bereitstellen, mit denen sich Deep Learning in der Cloud beliebig beschleunigen lässt. Sie können schnell Amazon EC2 P3-Instances mit vorinstallierten, gängigen DL-Frameworks wie TensorFlow, PyTorch, Apache MXNet, Microsoft Cognitive Toolkit, Caffe, Caffe2, Theano, Torch, Chainer, Gluon und Keras starten, um komplexe, individuelle KI-Modelle zu trainieren, mit neuen Algorithmen zu experimentieren oder neue Fähigkeiten und Techniken zu lernen. Weitere Informationen

Amazon EC2 P3-Instances und High Performance Computing

Lösen Sie umfangreiche Rechenprobleme, und erhalten Sie neue Einblicke mit der Leistung von HPC auf AWS

Amazon EC2 P3-Instances sind die ideale Plattform für technische Simulationen, Computational Finance, seismische Analysen, molekulare Modellierung, Genomik, Rendering und andere GPU-Rechen-Verarbeitungslasten. High Performance Computing (HPC) ermöglicht Wissenschaftlern und Technikern das Lösen dieser komplexen, rechenintensiven Probleme. HPC-Anwendungen benötigen häufig eine hohe Netzwerkleistung, schnelle Speicherung, viel Arbeitsspeicher, hohe Datenverarbeitungskapazitäten oder alles gleichzeitig. AWS ermöglicht Ihnen die Beschleunigung der Forschung und die Verkürzung der Ergebniszeit durch Ausführung von HPC in der Cloud und Skalieren auf eine größere Anzahl paralleler Aufgaben als in den meisten lokalen Umgebungen sinnvoll wäre. AWS reduziert die Kosten durch die Bereitstellung von Lösungen, die für bestimmte Anwendungen optimiert sind, ohne dass große Kapitalinvestitionen erforderlich sind. Weitere Informationen

Amazon EC2 P3dn.24xlarge-Instances

In Kürze verfügbar: Neue schnellere, leistungsstärkere und größere Instance-Größe, optimiert für verteiltes Machine Learning und High Performance Computing

Amazon EC2 P3dn.24xlarge-Instances sind die schnellsten, leistungsfähigsten und größten P3-Instance-Größen auf dem Markt und bieten bis zu 100 Gbit/s Netzwerkdurchsatz, acht NVIDIA® Tesla® V100-GPUs mit je 32 GB Speicher, 96 benutzerdefinierte skalierbare Intel® Xeon® (Skylake)-vCPUs und 1,8 TB lokalen NVMe-basierten SSD-Speicher. Die schnellere Vernetzung, neue Prozessoren, die Verdopplung des GPU-Speichers und zusätzliche vCPUs ermöglichen es Entwicklern, die Zeit für das Training ihrer ML-Modelle oder die Ausführung weiterer HPC-Simulationen deutlich zu verkürzen, indem sie ihre Aufgaben über mehrere Instances (z. B. 16, 32 oder 64 Instances) hinweg skalieren. Machine-Learning-Modelle erfordern ein großes Volumen an Daten für Trainingszwecke, und neben der Erhöhung des Durchsatzes für die Weiterleitung von Daten zwischen Instances kann der zusätzliche Netzwerkdurchsatz von P3dn.24xlarge-Instances dazu verwendet werden, den Zugriff auf große Trainingsdatenmengen zu beschleunigen, indem Amazon S3 oder gemeinsam verwendete Dateisystemlösungen, wie z. B. Amazon EFS, verbunden werden.

ELIMINIEREN VON ENGPÄSSEN UND REDUZIEREN DER MACHINE-LEARNING-TRAININGSZEIT

Mit einem Netzwerkdurchsatz von 100 GBit/s können Entwickler eine große Anzahl von P3dn.24xlarge-Instances (z. B. 16, 32 oder 64 Instances) für verteiltes Training verwenden und die für das Trainieren der Modelle benötigte Zeit erheblich reduzieren. Die 96 vCPUs der für AWS angepassten Intel Skylake-Prozessoren mit AVX-512-Anweisungen für den Betrieb bei 2,5 GHz unterstützen Sie bei der Optimierung der Vorverarbeitung von Daten. Außerdem verwenden P3dn.24.large-Instances das AWS Nitro-System, eine Kombination aus dedizierter Hardware und schlankem Hypervisor, das praktisch alle Rechen- und Speicherressourcen der Host-Hardware für Ihre Instances bereitstellt.

 

Reduzieren der Gesamtbetriebskosten durch Optimierung der GPU-Nutzung

Verbesserte Netzwerkleistung durch die Verwendung der aktuellen Version des Elastic Network Adapter mit einer aggregierten Netzwerkbandbreite von bis zu 100 GBit/s kann nicht nur dazu verwendet werden, Daten auf verschiedenen P3dn.24xlarge-Instances gemeinsam zu verwenden, sondern auch für den Datenzugriff bei hohem Datendurchsatz über Amazon S3 oder freigegebene Dateisystem-Lösungen wie Amazon EFS. Ein Datenzugriff bei hohem Datendurchsatz ist entscheidend, wenn es darum geht, die Nutzung von GPUs zu optimieren und die maximale Leistung aus den Compute Instances herauszuholen.

Unterstützung größerer und komplexerer Modelle

P3dn.24xlarge-Instances sind mit NVIDIA Tesla V100-GPUs mit 32 GB Arbeitsspeicher ausgerüstet und bieten die Flexibiltät, die erforderlich ist, um fortschrittlichere und größere Machine-Learning-Modelle zu trainieren sowie größere Datenstapel zu verarbeiten, z. B. Bilder mit einer Größe von 4K für Bildklassifizierungs- und Objekterkennungssysteme.

 

Amazon EC2 P3-Instance – Produktdetails

Instance-Größe GPUs – Tesla V100 GPU-Peer-to-Peer GPU-Speicher (GB) vCPUs Speicher (GB) Netzwerkbandbreite EBS-Bandbreite On-Demand-Preis/Std.* 1 Jahr lang Reserved Instance pro Stunde* 3 Jahr lang Reserved Instance pro Stunde*
p3.2xlarge 1 16 8 61 Bis zu 10 GBit/s 1,5 GBit/s 3,06 USD 1,99 USD 1,23 USD
p3.8xlarge 4
NVLink 64 32 244 10 GBit/s 7 GBit/s 12,24 USD 7,96 USD 4,93 USD
p3.16xlarge 8 NVLink 128 64 488 25 GBit/s 14 GBit/s 24,48 USD 15,91 USD 9,87 USD
p3dn.24xlarge* 8 NVLink 256 96 768 100 GBit/s 14 GBit/s In Kürze verfügbar In Kürze verfügbar In Kürze verfügbar

*In Kürze verfügbar.

*Die angegebenen Preise gelten für Linux/Unix in der AWS-Region USA Ost (Nord-Virginia) und sind auf den nächsten Cent gerundet. Vollständige Preisdetails finden Sie auf der Seite der Amazon EC2-Preise. 

Kunden können P3-Instances als On-Demand-Instances, Reserved Instances, Spot Instances und Dedicated Hosts erwerben.

SEKUNDENGENAUE ABRECHNUNG

Einer der vielen Vorteile des Cloud Computings besteht in der Elastizität der bedarfsabhängigen Bereitstellung und Rückgabe von Ressourcen. Durch eine sekundengenaue Abrechnung können Kunden zum Erreichen ihrer Machine-Learning-Ziele ihre Elastizität angleichen, Geld sparen und ihre Ressourcenzuweisung optimieren.

RESERVED INSTANCE – PREISE

Reserved Instances bieten im Vergleich zu den Preisen von On-Demand-Instances einen beträchtlichen Nachlass (bis zu 75 %). Wenn Reserved Instances einer bestimmten Availability Zone zugewiesen werden, stellen sie außerdem eine Kapazitätsreservierung bereit, sodass Sie Instances bei Bedarf problem- und bedenkenlos starten können.

SPOT-PREISE

Für die Dauer der Ausführung der Instances zahlen Sie bei Spot-Instances den bei der Anforderung angegebenen Spot-Preis. Die Spot-Instance-Preise werden von Amazon EC2 festgelegt und ändern sich schrittweise entsprechend der langfristigen Trends beim Angebot von und der Nachfrage nach Spot-Instance-Kapazitäten. Spot-Instances sind mit einem Rabatt von bis zu 90 % im Vergleich zum On-Demand-Preis verfügbar.

Umfassendste globale Verfügbarkeit

1856-Updated Map Image-P3 Instances-transparentBG_1024x543

Amazon EC2 P3.2xlarge-, P3.8xlarge- und P3.16xlarge Instances sind in 14 AWS-Regionen verfügbar, sodass Kunden ihre Machine-Learning-Modelle überall dort trainieren und bereitstellen können, wo ihre Daten gespeichert sind. Verfügbare AWS-Regionen für P3: USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), Kanada (Zentral), Europa (Irland), Europa (Frankfurt), Europa (London), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Sydney), Asien-Pazifik (Singapur), China (Peking), China (Ningxia) und AWS GovCloud (USA).

Die regionale Verfügbarkeit von P3dn.24xlarge wird bekannt gegeben, sobald die Instances allgemein verfügbar sind.

Erste Schritte mit Amazon EC2 P3-Instances beim Machine Learning

Beginnen Sie innerhalb von Minuten und erfahren Sie mehr über Amazon SageMaker oder verwenden Sie das AWS Deep Learning AMI, das auf gängigen Deep-Learning-Frameworks wie Caffe2 und MXNet vorinstalliert ist. Sie können alternativ auch das NVIDIA-AMI mit vorinstalliertem GPU-Treiber und CUDA-Toolkit verwenden.

Blog-Beiträge und Artikel

amrraga
 
Amr Ragab, Chetan Kapoor, Rahul Huilgol, Jarvis Lee, Tyler Mullenbach, und Yong Wu
20. Juli 2018
Sind Sie startbereit?
Registrieren
Haben Sie Fragen?
Kontaktieren Sie uns