Überspringen zum Hauptinhalt

Amazon EC2

G5-Instances von Amazon EC2

Leistungsstarke GPU-basierte Instances für grafikintensive Anwendungen und Machine-Learning-Inferenzen

Warum Amazon-EC2-G5-Instances?

Amazon-EC2-G5-Instances sind die neueste Generation von NVIDIA-GPU-basierten Instances, die für eine Vielzahl von grafikintensiven und Machine-Learning-Anwendungen verwendet werden können. Sie bieten im Vergleich zu Amazon-EC2-G4dn-Instances eine bis zu 3-mal bessere Leistung für grafikintensive Anwendungen und Machine-Learning-Inferenzen sowie eine bis zu 3,3-mal höhere Leistung für Machine-Learning-Training.

Kunden können G5-Instances für grafikintensive Anwendungen wie Remote-Workstations, Video-Rendering und Gaming verwenden, um hochauflösende Grafiken in Echtzeit zu erstellen. Mit G5-Instances erhalten Machine-Learning-Kunden eine leistungsstarke und kosteneffiziente Infrastruktur zum Trainieren und Bereitstellen größerer und anspruchsvollerer Modelle für die Verarbeitung natürlicher Sprache, Computer Vision und Anwendungsfälle für Empfehlungs-Engines.

G5-Instances verfügen über bis zu 8 NVIDIA- und AMD EPYC-Prozessoren der zweiten Generation. Sie unterstützen außerdem bis zu 192 vCPUs, bis zu 100 Gbit/s Netzwerkbandbreite und bis zu 7,6 TB lokalen NVMe-SSD-Speicher.

Vorteile

G5-Instances bieten bis zu 3-mal höhere Grafikleistung und ein bis zu 40 % besseres Preis-Leistungs-Verhältnis als G4dn-Instances. Diese verfügen über mehr Raytracing-Kerne als jede andere GPU-basierte-EC2-Instance, bieten 24 GB Speicher pro GPU und unterstützen die NVIDIA-RTX-Technologie. Dadurch eignen sie sich ideal zum schnelleren Rendern realistischer Szenen, zum Ausführen leistungsstarker virtueller Workstations und zur Unterstützung grafikintensiver Anwendungen mit höherer Wiedergabetreue.

G5-Instances bieten im Vergleich zu G4dn-Instances eine bis zu 3-mal höhere Leistung und ein bis zu 40 % besseres Preis-Leistungs-Verhältnis für Machine-Learning-Inferenzen. Sie sind eine leistungsfähige und kosteneffiziente Lösung für Kunden, die NVIDIA-Bibliotheken wie TensorRT, CUDA und cuDNN zur Ausführung ihrer ML-Anwendungen verwenden möchten.

G5-Instances bieten bis zu 15 % geringere Trainingskosten als Amazon-EC2-P3-Instances. Außerdem bieten sie im Vergleich zu G4dn-Instances eine bis zu 3,3-mal höhere Leistung beim ML-Training. Dies macht sie zu einer kosteneffizienten Lösung für das Training mäßig komplexer und einzelner Knotenmodelle für Machine Learning zur Verarbeitung natürlicher Sprache, Computer Vision und Anwendungsfälle für Empfehlungs-Engines.

G5-Instances basieren auf dem AWS Nitro System, einer Kombination aus dedizierter Hardware und schlankem Hypervisor, der praktisch alle Rechen- und Speicherressourcen der Host-Hardware für die Instances bereitstellt und so für eine bessere Gesamtleistung und Sicherheit sorgt. Bei G5-Instances stellt das Nitro-System die GPUs im Durchlaufmodus bereit und bietet so eine mit Bare-Metal vergleichbare Leistung.

Funktionen

G5-Instances sind die ersten in der Cloud, die über NVIDIA A10G Tensor-Core-GPUs verfügen, die eine hohe Leistung für grafikintensive Anwendungen und Machine Learning bieten. Jede Instance verfügt über bis zu 8 A10G Tensor-Core-GPUs mit 80 Raytracing-Kernen und 24 GB Speicher pro GPU. Diese bieten außerdem 320 NVIDIA-Tensor-Kerne der dritten Generation, die bis zu 250 TOPS liefern, was zu einer hohen Leistung für ML-Workloads führt.

G5-Instances bieten Kunden NVIDIA-RTX-Enterprise- und Gaming-Treiber ohne zusätzliche Kosten. Mit NVIDIA-RTX-Enterprise-Treibern können hochwertige virtuelle Workstations für eine Vielzahl grafikintensiver Workloads bereitgestellt werden. NVIDIA-Gaming-Treiber bieten unvergleichliche Grafik- und Computing-Unterstützung für die Spieleentwicklung. G5-Instances unterstützen auch CUDA-, cuDNN-, NVENC-, TensorRT-, cuBLAS-, OpenCL-, DirectX 11/12-, Vulkan 1.1- und OpenGL 4.5-Bibliotheken.

Die G5-Instances verfügen über einen Netzwerkdurchsatz von bis zu 100 Gbit/s, wodurch sie die Anforderungen an niedrige Latenzzeiten für Machine-Learning-Inferenzen und grafikintensive Anwendungen unterstützen können. 24 GB Arbeitsspeicher pro GPU und die Unterstützung von bis zu 7,6 TB lokalem NVMe-SSD-Speicher ermöglichen die lokale Speicherung großer Modelle und Datensätze für hochleistungsfähiges Machine-Learning-Training und Inferenz. G5-Instances können außerdem große Videodateien lokal speichern, was zu einer höheren Grafikleistung und der Möglichkeit führt, größere und komplexere Videodateien zu rendern.

Die G5-Instances basieren auf dem AWS Nitro System, einer umfangreichen Sammlung von Modulbausteinen, die viele der herkömmlichen Virtualisierungsfunktionen auf dedizierte Hardware und Software auslagern. Dadurch werden hohe Leistung, hohe Verfügbarkeit und hohe Sicherheit erreicht, während gleichzeitig der Virtualisierungsaufwand reduziert wird.

Produktdetails

Instance Size
GPU
GPU Memory (GiB)
vCPUs
Memory (GiB)
Storage (GB)
Network Bandwidth (Gbps)
EBS Bandwidth (Gbps)
Single GPU VMs

g5.xlarge

g5.2xlarge

g5.4xlarge

g5.8xlarge

g5.16xlarge

1

1

1

1

1

24

24

24

24

24

4

8

16

32

64

16

32

64

128

256

1x250

1x450

1x600

1 x 900

1x1900

Bis zu 10

Bis zu 10

Bis zu 25

25

25

Bis zu 3,5

Bis zu 3,5

8

16

16

Multi GPU VMs

g5.12xlarge

g5.24xlarge

g5.48xlarge

4

4

8

96

96

192

48

96

192

192

384

768

1x3800

1x3800

2 x 3 800

40

50

100

16

19

19

Athenaskop

Athenascope nutzt modernste Entwicklungen in den Bereichen Computer Vision und künstliche Intelligenz. Es analysiert das Gameplay und zeigt automatisch die spannendsten Gameplay-Momente an, um Highlight-Videos für Gamer und Content Creators zu erstellen. 

„Um ein nahtloses Videoerlebnis zu schaffen, ist die Videoanalyse mit niedriger Latenz mithilfe unserer CV-Modelle ein grundlegendes Ziel für uns. Amazon EC2 G5-Instances bieten eine 30-prozentige Verbesserung des Preis-Leistungs-Verhältnisses gegenüber früheren Bereitstellungen mit G4dn-Instances. „

Chris Kirmse, CEO und Gründer, Athenascope

Missing alt text value

Netflix

Netflix ist einer der weltweit führenden Streaming-Unterhaltungsdienste mit 214 Millionen kostenpflichtigen Mitgliedern in über 190 Ländern, die Fernsehserien, Dokumentationen und Spielfilme in einer Vielzahl von Genres und Sprachen genießen.  

„Mit den neuen Amazon EC2 G5-Instances können wir High-End-Grafik-Workstations bereitstellen, die im Vergleich zu Workstations mit EC2 G4dn-Instances eine bis zu dreimal höhere Leistung bieten. Mit G5-Instanzen haben Inhaltsersteller die Freiheit, komplexere und realistischere Inhalte für unsere Zuschauer zu erstellen. „

Ben Tucker, technischer Leiter, Animation Production Systems Engineering bei Netflix

Missing alt text value

Varjo

„Für High-End-VR/XR-Anwendungen sind Amazon EC2 G5-Instances ein entscheidender Faktor. Wir sind in der Lage, professionelle Anwendungen in Varjos charakteristischer Auflösung für menschliches Auge mit der dreifachen Bildrate im Vergleich zu zuvor verwendeten G4dn-Instances auszuführen und unseren Kunden eine noch nie dagewesene Erlebnisqualität beim Streamen vom Server zu bieten. „

Urho Konttori, Gründer und Chief Technology Officer bei Varjo

Missing alt text value

Erste Schritte mit G5-Instances

DLAMI bietet DL-Praktikern und -Forschern die Infrastruktur und Tools, um Deep Learning in der Cloud in jedem Maß zu beschleunigen. Deep-Learning-Container sind Docker-Images, auf denen DL-Frameworks vorinstalliert sind, um die Bereitstellung benutzerdefinierter ML-Umgebungen zu optimieren, indem Sie den komplizierten Prozess der Erstellung und Optimierung Ihrer Umgebungen von Grund auf überspringen.

Wenn Sie es vorziehen, Ihre eigenen containerisierten Workloads durch Container-Orchestrierungsservices zu verwalten, können Sie G5-Instances mit Amazon EKS oder Amazon ECS bereitstellen.

Sie können verschiedene von AWS und NVIDIA angebotene Amazon Machine Images (AMIs) verwenden, die mit den installierten NVIDIA-Treibern geliefert werden.

Sie können ML-Modelle auf G5-Instances bereitstellen, indem Sie Amazon SageMaker verwenden, einen vollständig verwalteten Service zum Erstellen, Trainieren und Bereitstellen von ML-Modellen.