Amazon-EC2-P4-Instances

Mit Core-GPUs von NVIDIA A100 Tensor der neuesten Generation bietet jede P4d-5x-Instance im Vergleich zu P3-Instances der vorherigen Generation im Durchschnitt eine 2,5 Mal bessere DL-Leistung. EC2 UltraCluster von P4d-Instances helfen den Entwicklern, Datenwissenschaftlern und Forschern, ihre komplexesten ML- und HPC-Workloads auszuführen, indem sie ohne Vorabkosten oder langfristige Verpflichtungen auf Leistung der Supercomputing-Klasse zugreifen. Die reduzierte Trainingszeit mit P4d-Instances steigert die Produktivität und hilft den Entwicklern, sich auf ihre Aufgabe zu konzentrieren, ML-Intelligenz in Geschäftsanwendungen zu integrieren.

Entwickler können mit EC2 UltraClustern von P4d-Instances nahtlos auf bis zu Tausende von GPUs skalieren. Ein Netzwerk mit hohem Durchsatz und geringer Latenzzeit mit Unterstützung für 400-Gbit/s-Instance-Netzwerke, Elastic Fabric Adapter (EFA) und GPUDirect-RDMA-Technologie helfen beim schnellen Trainieren von ML-Modellen mit anpassbaren/verteilten Techniken. EFA verwendet die NVIDIA Collective Communications Library (NCCL), um auf Tausende von GPUs zu skalieren und die GPUDirect RDMA-Technologie ermöglicht eine GPU-zu-GPU-Kommunikation mit geringer Latenz zwischen P4d-Instances.

P4d-Instances bieten im Vergleich zu P3-Instances bis zu 60 % niedrigere Kosten für das Training von ML-Modellen. Darüber hinaus können P4d-Instances als Spot Instances erworben werden. Spot Instances verwenden ungenutzte EC2-Instance-Kapazität und können Ihre Kosten für EC2 vergleichen mit On-Demand-Instances deutlich um bis zu 90 % senken. Durch die geringeren Kosten für ML-Trainingssitzungen mit P4d-Instances können Budgets neu zugewiesen werden, um mehr ML-Intelligenz in Geschäftsanwendungen zu integrieren.

AWS Deep Learning AMIs (DLAMIs) und Amazon-Deep-Learning-Container erleichtern die Bereitstellung von P4d-DL-Umgebungen in Minuten, da sie die erforderlichen DL-Framework-Bibliotheken und -Tools enthalten. Sie können diesen Bildern auch einfacher Ihre eigenen Bibliotheken und Tools hinzufügen. P4d-Instances unterstützen gängige ML-Frameworks wie TensorFlow, PyTorch und MXNet. Darüber hinaus werden P4d-Instances von wichtigen AWS-Services für ML, Verwaltung und Orchestrierung wie Amazon SageMaker, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS Batch und AWS ParallelCluster unterstützt.

Core-GPUs von NVIDIA A100 Tensor bieten beispiellose Beschleunigung nach Maß für ML und HPC. Die Tensor-Cores der dritten Generation von NVIDIA A100 beschleunigen jeden Präzisions-Workload und verkürzen die Zeit für die Erkenntnisserlangung und Markteinführung. Jeder A100-Grafikprozessor bietet mehr als die 2,5-fache Computing-Leistung im Vergleich zur vorherigen Generation des V100-Grafikprozessors und ist mit 40 GB HBM2 (in P4d-Instances) oder 80 GB HBM2e (in P4de-Instances) Hochleistungs-Grafikprozessorspeicher ausgestattet. Ein höherer GPU-Speicher kommt insbesondere Workloads zugute, die auf großen Datensätzen mit hochauflösenden Daten trainieren. NVIDIA-A100-GPUs verwenden den NVSwitch-GPU-Interconnect-Durchsatz, sodass jede GPU mit jeder anderen GPU in derselben Instance mit demselben bidirektionalen Durchsatz von 600 GB/s und mit Single-Hop-Latenz kommunizieren kann.

P4d-Instances bieten ein 400-Gbit/s-Netzwerk, um Kunden dabei zu helfen, ihre verteilten Workloads, wie Multi-Knoten-Training effizienter mit Networking mit hohem Durchsatz zwischen P4d-Instances sowie zwischen einer P4d-Instance und Speicherservices wie Amazon Simple Storage Service (Amazon S3) und FSx für Lustre. EFA ist eine benutzerdefinierte Netzwerkschnittstelle, die von AWS entwickelt wurde, um ML- und HPC-Anwendungen auf Tausende von GPUs zu skalieren. Um die Latenz weiter zu reduzieren, ist EFA mit NVIDIA GPUDirect RDMA gekoppelt, um eine GPU-zu-GPU-Kommunikation mit niedriger Latenz zwischen Servern mit Betriebssystemumgehung zu ermöglichen.

Greifen Sie mit FSx für Lustre auf Speicher mit hohem Durchsatz und geringer Latenz im PetaByte-Maßstab zu oder mit Amazon S3 auf praktisch unbegrenzten kostengünstigen Speicher mit 400 Gbit/s-Geschwindigkeit zu. Für Workloads, die schnellen Zugriff auf große Datensätze benötigen, enthält jede P4d-Instance auch 8 TB NVMe-basierten SSD-Speicher mit 16 GB/s Lesedurchsatz.

Die P4d-Instances basieren auf dem AWS Nitro System, einer umfangreichen Sammlung von Modulbausteinen, die viele der herkömmlichen Virtualisierungsfunktionen auf dedizierte Hardware und Software auslagern, um hohe Leistung, hohe Verfügbarkeit und hohe Sicherheit zu bieten und gleichzeitig den Virtualisierungsaufwand zu reduzieren.

Amazon SageMaker ist ein vollständig verwalteter Service für die Erstellung, Schulung und Bereitstellung von ML-Modellen. In Verbindung mit P4d-Instances können Kunden problemlos auf dutzende, hunderte oder tausende von GPUs skalieren, um ein Modell schnell in einem beliebigen Umfang zu trainieren, ohne sich Gedanken über die Einrichtung von Clustern und Data Pipelines machen zu müssen.

DLAMI bietet ML-Praktikern und Forschern die Infrastruktur und Tools, um DL in der Cloud in jeder Größenordnung zu beschleunigen. Deep-Learning-Container sind Docker-Images, auf denen DL-Frameworks vorinstalliert sind, um die schnelle Bereitstellung benutzerdefinierter ML-Umgebungen zu vereinfachen, da Sie den komplizierten Prozess der Erstellung und Optimierung Ihrer Umgebungen von Grund auf überspringen können.

Wenn Sie es vorziehen, Ihre eigenen containerisierten Workloads über Container-Orchestrierungsdienste zu verwalten, können Sie P4d-Instances mit Amazon EKS oder Amazon ECS bereitstellen.