- Amazon EC2›
- Instance-Typen›
- G5-Instances
G5-Instances von Amazon EC2
Leistungsstarke GPU-basierte Instances für grafikintensive Anwendungen und Machine-Learning-Inferenzen
Warum Amazon-EC2-G5-Instances?
Amazon-EC2-G5-Instances sind die neueste Generation von NVIDIA-GPU-basierten Instances, die für eine Vielzahl von grafikintensiven und Machine-Learning-Anwendungen verwendet werden können. Sie bieten im Vergleich zu Amazon-EC2-G4dn-Instances eine bis zu 3-mal bessere Leistung für grafikintensive Anwendungen und Machine-Learning-Inferenzen sowie eine bis zu 3,3-mal höhere Leistung für Machine-Learning-Training.
Kunden können G5-Instances für grafikintensive Anwendungen wie Remote-Workstations, Video-Rendering und Gaming verwenden, um hochauflösende Grafiken in Echtzeit zu erstellen. Mit G5-Instances erhalten Machine-Learning-Kunden eine leistungsstarke und kosteneffiziente Infrastruktur zum Trainieren und Bereitstellen größerer und anspruchsvollerer Modelle für die Verarbeitung natürlicher Sprache, Computer Vision und Anwendungsfälle für Empfehlungs-Engines.
G5-Instances verfügen über bis zu 8 NVIDIA- und AMD EPYC-Prozessoren der zweiten Generation. Sie unterstützen außerdem bis zu 192 vCPUs, bis zu 100 Gbit/s Netzwerkbandbreite und bis zu 7,6 TB lokalen NVMe-SSD-Speicher.
Vorteile
G5-Instances bieten bis zu 3-mal höhere Grafikleistung und ein bis zu 40 % besseres Preis-Leistungs-Verhältnis als G4dn-Instances. Diese verfügen über mehr Raytracing-Kerne als jede andere GPU-basierte-EC2-Instance, bieten 24 GB Speicher pro GPU und unterstützen die NVIDIA-RTX-Technologie. Dadurch eignen sie sich ideal zum schnelleren Rendern realistischer Szenen, zum Ausführen leistungsstarker virtueller Workstations und zur Unterstützung grafikintensiver Anwendungen mit höherer Wiedergabetreue.
G5-Instances bieten im Vergleich zu G4dn-Instances eine bis zu 3-mal höhere Leistung und ein bis zu 40 % besseres Preis-Leistungs-Verhältnis für Machine-Learning-Inferenzen. Sie sind eine leistungsfähige und kosteneffiziente Lösung für Kunden, die NVIDIA-Bibliotheken wie TensorRT, CUDA und cuDNN zur Ausführung ihrer ML-Anwendungen verwenden möchten.
G5-Instances bieten bis zu 15 % geringere Trainingskosten als Amazon-EC2-P3-Instances. Außerdem bieten sie im Vergleich zu G4dn-Instances eine bis zu 3,3-mal höhere Leistung beim ML-Training. Dies macht sie zu einer kosteneffizienten Lösung für das Training mäßig komplexer und einzelner Knotenmodelle für Machine Learning zur Verarbeitung natürlicher Sprache, Computer Vision und Anwendungsfälle für Empfehlungs-Engines.
G5-Instances basieren auf dem AWS Nitro System, einer Kombination aus dedizierter Hardware und schlankem Hypervisor, der praktisch alle Rechen- und Speicherressourcen der Host-Hardware für die Instances bereitstellt und so für eine bessere Gesamtleistung und Sicherheit sorgt. Bei G5-Instances stellt das Nitro-System die GPUs im Durchlaufmodus bereit und bietet so eine mit Bare-Metal vergleichbare Leistung.
Funktionen
G5-Instances sind die ersten in der Cloud, die über NVIDIA A10G Tensor-Core-GPUs verfügen, die eine hohe Leistung für grafikintensive Anwendungen und Machine Learning bieten. Jede Instance verfügt über bis zu 8 A10G Tensor-Core-GPUs mit 80 Raytracing-Kernen und 24 GB Speicher pro GPU. Diese bieten außerdem 320 NVIDIA-Tensor-Kerne der dritten Generation, die bis zu 250 TOPS liefern, was zu einer hohen Leistung für ML-Workloads führt.
G5-Instances bieten Kunden NVIDIA-RTX-Enterprise- und Gaming-Treiber ohne zusätzliche Kosten. Mit NVIDIA-RTX-Enterprise-Treibern können hochwertige virtuelle Workstations für eine Vielzahl grafikintensiver Workloads bereitgestellt werden. NVIDIA-Gaming-Treiber bieten unvergleichliche Grafik- und Computing-Unterstützung für die Spieleentwicklung. G5-Instances unterstützen auch CUDA-, cuDNN-, NVENC-, TensorRT-, cuBLAS-, OpenCL-, DirectX 11/12-, Vulkan 1.1- und OpenGL 4.5-Bibliotheken.
Die G5-Instances verfügen über einen Netzwerkdurchsatz von bis zu 100 Gbit/s, wodurch sie die Anforderungen an niedrige Latenzzeiten für Machine-Learning-Inferenzen und grafikintensive Anwendungen unterstützen können. 24 GB Arbeitsspeicher pro GPU und die Unterstützung von bis zu 7,6 TB lokalem NVMe-SSD-Speicher ermöglichen die lokale Speicherung großer Modelle und Datensätze für hochleistungsfähiges Machine-Learning-Training und Inferenz. G5-Instances können außerdem große Videodateien lokal speichern, was zu einer höheren Grafikleistung und der Möglichkeit führt, größere und komplexere Videodateien zu rendern.
Die G5-Instances basieren auf dem AWS Nitro System, einer umfangreichen Sammlung von Modulbausteinen, die viele der herkömmlichen Virtualisierungsfunktionen auf dedizierte Hardware und Software auslagern. Dadurch werden hohe Leistung, hohe Verfügbarkeit und hohe Sicherheit erreicht, während gleichzeitig der Virtualisierungsaufwand reduziert wird.
Produktdetails
|
|
Instance Size
|
GPU
|
GPU Memory (GiB)
|
vCPUs
|
Memory (GiB)
|
Storage (GB)
|
Network Bandwidth (Gbps)
|
EBS Bandwidth (Gbps)
|
||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Single GPU VMs
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||
|
Multi GPU VMs
|
|
|
|
|
|
|
|
|
Athenaskop
Athenascope nutzt modernste Entwicklungen in den Bereichen Computer Vision und künstliche Intelligenz. Es analysiert das Gameplay und zeigt automatisch die spannendsten Gameplay-Momente an, um Highlight-Videos für Gamer und Content Creators zu erstellen.
„Um ein nahtloses Videoerlebnis zu schaffen, ist die Videoanalyse mit niedriger Latenz mithilfe unserer CV-Modelle ein grundlegendes Ziel für uns. Amazon EC2 G5-Instances bieten eine 30-prozentige Verbesserung des Preis-Leistungs-Verhältnisses gegenüber früheren Bereitstellungen mit G4dn-Instances. „
Chris Kirmse, CEO und Gründer, Athenascope
Netflix
Netflix ist einer der weltweit führenden Streaming-Unterhaltungsdienste mit 214 Millionen kostenpflichtigen Mitgliedern in über 190 Ländern, die Fernsehserien, Dokumentationen und Spielfilme in einer Vielzahl von Genres und Sprachen genießen.
„Mit den neuen Amazon EC2 G5-Instances können wir High-End-Grafik-Workstations bereitstellen, die im Vergleich zu Workstations mit EC2 G4dn-Instances eine bis zu dreimal höhere Leistung bieten. Mit G5-Instanzen haben Inhaltsersteller die Freiheit, komplexere und realistischere Inhalte für unsere Zuschauer zu erstellen. „
Ben Tucker, technischer Leiter, Animation Production Systems Engineering bei Netflix
Varjo
„Für High-End-VR/XR-Anwendungen sind Amazon EC2 G5-Instances ein entscheidender Faktor. Wir sind in der Lage, professionelle Anwendungen in Varjos charakteristischer Auflösung für menschliches Auge mit der dreifachen Bildrate im Vergleich zu zuvor verwendeten G4dn-Instances auszuführen und unseren Kunden eine noch nie dagewesene Erlebnisqualität beim Streamen vom Server zu bieten. „
Urho Konttori, Gründer und Chief Technology Officer bei Varjo
Erste Schritte mit G5-Instances
DLAMI bietet DL-Praktikern und -Forschern die Infrastruktur und Tools, um Deep Learning in der Cloud in jedem Maß zu beschleunigen. Deep-Learning-Container sind Docker-Images, auf denen DL-Frameworks vorinstalliert sind, um die Bereitstellung benutzerdefinierter ML-Umgebungen zu optimieren, indem Sie den komplizierten Prozess der Erstellung und Optimierung Ihrer Umgebungen von Grund auf überspringen.
Wenn Sie es vorziehen, Ihre eigenen containerisierten Workloads durch Container-Orchestrierungsservices zu verwalten, können Sie G5-Instances mit Amazon EKS oder Amazon ECS bereitstellen.
Sie können verschiedene von AWS und NVIDIA angebotene Amazon Machine Images (AMIs) verwenden, die mit den installierten NVIDIA-Treibern geliefert werden.
Sie können ML-Modelle auf G5-Instances bereitstellen, indem Sie Amazon SageMaker verwenden, einen vollständig verwalteten Service zum Erstellen, Trainieren und Bereitstellen von ML-Modellen.