AWS Trainium
AWS Trainium ist der Beschleuniger für Machine Learning (ML) der zweiten Generation, den AWS speziell für Deep-Learning-Trainings von über 100 Milliarden Parametermodellen entwickelt hat. Jede Amazon-Elastic-Compute-Cloud-Trn1-Instance (EC2) setzt bis zu 16 AWS Trainium-Beschleuniger ein, um eine leistungsstarke und kostengünstige Lösung für Deep-Learning-Training (DL) in der Cloud bereitzustellen. Obwohl der Einsatz von Deep Learning immer schneller voranschreitet, sind viele Entwicklungsteams durch feste Budgets eingeschränkt, was den Umfang und die Häufigkeit des Trainings, das zur Verbesserung ihrer Modelle und Anwendungen erforderlich ist, begrenzt. Trainium-basierte EC2-Trn1-Instances lösen diese Herausforderung, indem sie die Zeit bis zum Training verkürzen und gleichzeitig bis zu 50 % weniger Kosten verursachen als vergleichbare Amazon-EC2-Instances. Trainium wurde für das Training natürlicher Sprachverarbeitung, Computer Vision und Empfehlungsmodelle optimiert, die in einer Vielzahl von Anwendungen wie Textzusammenfassung, Codegenerierung, Fragenbeantwortung, Bild- und Videogenerierung, Empfehlungen und Betrugserkennung verwendet werden.
Vorteile
Speziell entwickelt für leistungsstarkes Deep-Learning-Training
Jeder Trainium-Beschleuniger enthält zwei NeuronCores der zweiten Generation, die speziell für Deep-Learning-Algorithmen entwickelt wurden. Zur Unterstützung einer effizienten Daten- und Modellparallelität verfügt jeder Trainium-Beschleuniger über 32 GB Speicher mit hoher Bandbreite, liefert bis zu 190 TFLOPS an FP16/BF16-Rechenleistung und verfügt über NeuronLink, eine instanceinterne, ultraschnelle, nicht blockierende Verbindungstechnologie.
Optimiert für modernste Modelle
Trainium bietet native Unterstützung für eine Vielzahl von Datentypen (FP32, TF32, BF16, FP16, UINT8 und konfigurierbare FP8). Er unterstützt die hardwarebeschleunigte stochastische Rundung, um im Vergleich zu herkömmlichen Rundungsmodi eine höhere Leistung und Genauigkeit zu erzielen. Trainium bietet außerdem Unterstützung für Kontrollfluss und benutzerdefinierte Operatoren, die in C++ geschrieben wurden, um eine flexible, zukunftssichere Infrastruktur für Ihren Schulungsbedarf zu schaffen.
Native Unterstützung für ML-Frameworks und -Bibliotheken
Das AWS Neuron SDK, das Trainium unterstützt, ist nativ mit PyTorch und TensorFlow integriert. Dadurch wird sichergestellt, dass Sie Ihre bestehenden Arbeitsabläufe in diesen beliebten Frameworks weiter nutzen und mit Trainium mit nur wenigen Zeilen Codeänderungen loslegen können. Für das verteilte Modelltraining unterstützt das Neuron SDK Bibliotheken wie Megatron-LM und PyTorch Fully Sharded Data Parallel (FSDP). Um schnell mit den von Trainium betriebenen EC2-Trn1-Instances zu beginnen, sehen Sie sich die beliebten Modellbeispiele in der Neuron-Dokumentation an.
AWS Neuron SDK
AWS Neuron ist ein SDK, das aus einem Compiler, einer Laufzeitumgebung und Profiling-Tools abesteht, mit denen Sie hochleistungsfähige Schulungen auf von AWS Trainium betriebenen Amazon EC2-Trn1-Instances ausführen können. Durch den Einsatz von Neuron können Sie Ihre bestehenden Workflows in beliebten Frameworks wie TensorFlow und PyTorch verwenden und mit minimalen Codeänderungen optimal auf EC2-Trn1-Instances trainieren. Neuron ist in AWS Deep Learning AMIs (DLAMI) und AWS-Deep-Learning-Containern vorkonfiguriert und erleichtert den Einstieg in Trn1-Instances.
AWS Inferentia
AWS Inferentia ist ein von AWS entwickelter ML-Inferenzbeschleuniger, der hohe Leistung und die niedrigsten Kosten für ML-Inferenzen in der Cloud bietet. Amazon-EC2-Inf1-Instances, die auf AWS-Inferentia-Beschleuniger basieren, liefern einen bis zu 2,3-fach höheren Durchsatz und bis zu 70 % niedrigere Kosten pro Inferenz als vergleichbare Amazon-EC2-Instances.
Sie erhalten sofort Zugriff auf das kostenlose AWS-Kontingent.
