AWS Trainium

Hochleistungsfähiger Chip für Trainings-Beschleuniger für Machine Learning, eigens von AWS entwickelt

AWS Trainium ist der Chip der zweiten Generation für Machine Learning (ML), den AWS speziell für Deep-Learning-Training entwickelt hat. Jede Amazon-Elastic-Compute-Cloud-Trn1-Instance (EC2) setzt bis zu 16 AWS Trainium-Beschleuniger ein, um eine leistungsstarke und kostengünstige Lösung für DL-Training in der Cloud bereitzustellen. Obwohl der Einsatz von Deep Learning immer schneller voranschreitet, sind viele Entwicklungsteams durch feste Budgets eingeschränkt, was den Umfang und die Häufigkeit des Trainings, das zur Verbesserung ihrer Modelle und Anwendungen erforderlich ist, begrenzt. Trainium-basierte EC2-Trn1-Instances lösen diese Herausforderung, indem sie die Zeit bis zum Training verkürzen und gleichzeitig bis zu 50 % weniger Kosten verursachen als vergleichbare GPU-basierte Instances. Trainium wurde für das Training von Modellen für die Verarbeitung natürlicher Sprache, Computer Vision und Empfehlungen optimiert, die in einer Vielzahl von Anwendungen wie Spracherkennung, Empfehlungen, Betrugserkennung, Bilderkennung und Prognosen eingesetzt werden.

Vorteile

Speziell entwickelt für leistungsstarkes Deep-Learning-Training

Jeder Trainium-Beschleuniger enthält zwei NeuronCores der zweiten Generation, die speziell für Deep-Learning-Algorithmen entwickelt wurden. Zur Unterstützung einer effizienten Daten- und Modellparallelität verfügt jeder Trainium-Beschleuniger über 32 GB Speicher mit hoher Bandbreite, liefert bis zu 210 TFLOPS an FP16/BF16-Rechenleistung und verfügt über NeuronLink, eine instanceinterne, ultraschnelle, nicht blockierende Verbindungstechnologie.

Optimiert für modernste Modelle

Trainium bietet native Unterstützung für eine Vielzahl von Datentypen (FP32, TF32, BF16, FP16, UINT8 und konfigurierbare FP8). Er unterstützt die hardwarebeschleunigte stochastische Rundung, um im Vergleich zu herkömmlichen Rundungsmodi eine höhere Leistung und Genauigkeit zu erzielen. Trainium bietet außerdem umfassende Unterstützung für dynamische Tensorformen, Kontrollfluss und benutzerdefinierte Operatoren, die in C++ geschrieben wurden, um eine flexible, zukunftssichere Infrastruktur für Ihren Schulungsbedarf zu schaffen.

Native Unterstützung für ML-Frameworks und -Bibliotheken

Das AWS Neuron SDK, das Trainium unterstützt, ist nativ mit PyTorch und TensorFlow integriert. Dadurch wird sichergestellt, dass Sie Ihre bestehenden Arbeitsabläufe in diesen beliebten Frameworks weiter nutzen und mit Trainium mit nur wenigen Zeilen Codeänderungen loslegen können. Für das verteilte Modelltraining unterstützt das Neuron SDK Bibliotheken wie Megatron-LM und PyTorch Fully Sharded Data Parallel (FSDP). Um schnell mit den von Trainium betriebenen EC2-Trn1-Instances zu beginnen, sehen Sie sich die beliebten Modellbeispiele in der Neuron-Dokumentation an.

AWS Neuron SDK

AWS Neuron ist ein SDK, das aus einem Compiler, einer Laufzeitumgebung und Profiling-Tools abesteht, mit denen Sie hochleistungsfähige Schulungen auf von AWS Trainium betriebenen Amazon EC2-Trn1-Instances ausführen können. Durch den Einsatz von Neuron können Sie Ihre bestehenden Workflows in beliebten Frameworks wie TensorFlow und PyTorch verwenden und mit minimalen Codeänderungen optimal auf EC2-Trn1-Instances trainieren. Neuron ist in AWS Deep Learning AMIs (DLAMI) und AWS-Deep-Learning-Containern vorkonfiguriert und erleichtert den Einstieg in Trn1-Instances.

Weitere Informationen »

AWS Inferentia

AWS Inferentia ist ein von AWS entwickelter ML-Inferenzbeschleuniger, der hohe Leistung und die niedrigsten Kosten für ML-Inferenzen in der Cloud bietet. Amazon EC2-Inf1-Instances, die auf AWS-Inferentia-Beschleuniger basieren, liefern einen bis zu 2,3-fach höheren Durchsatz und bis zu 70 % niedrigere Kosten pro Inferenz als vergleichbare GPU-basierte Amazon EC2-Instances der aktuellen Generation.

Weitere Informationen »

Für ein kostenloses Konto registrieren

Sie erhalten sofort Zugriff auf das kostenlose AWS-Kontingent. 

Registrieren 
Mit der Entwicklung in der Konsole beginnen

Erste Schritte mit der AWS-Konsole

Anmelden