Ankündigung: Amazon EC2 Trn3 UltraServers für schnelleres, kostengünstigeres generatives KI-Training
AWS kündigt die allgemeine Verfügbarkeit von Amazon Elastic Compute Cloud (Amazon EC2) Trn3 UltraServern an, die auf unserem AI-Chip Trainium3 der vierten Generation basieren, unserem ersten 3-nm-AWS-KI-Chip, der speziell entwickelt wurde, um die beste Token-Wirtschaftlichkeit für Agentenanwendungen, Reasoning und Videogenerierung der nächsten Generation zu bieten.
Jeder AWS Trainium3-Chip bietet 2,52 Petaflops (PFLOPS) an FP8-Rechenleistung und erhöht gegenüber Trainium2 die Speicherkapazität um das 1,5-Fache und die Bandbreite um das 1,7-Fache, auf 144 GB HBM3e-Speicher und 4,9 TB/s Speicherbandbreite. Trainium3 wurde sowohl für dichte als auch für parallele Workloads von Experten entwickelt. Es bietet erweiterte Datentypen (MXFP8 und MXFP4) und ein verbessertes Gleichgewicht zwischen Speicher und Rechenleistung für Echtzeit-, multimodale und Reasoning-Aufgaben.
Trn3-UltraServer können auf bis zu 144 Trainium3-Chips (362 FP8-PFLOPs insgesamt) skaliert werden und sind in EC2-UltraClustern 3.0 verfügbar, um auf Hunderttausende von Chips skaliert zu werden. Ein vollständig konfigurierter Trn3 UltraServer bietet bis zu 20,7 TB HBM3e und eine Gesamtspeicherbandbreite von 706 TB/s. Die Trn3 UltraServer der nächsten Generation verfügen über den NeuronSwitch-V1, eine All-to-All-Fabric, die die Interchip-Interconnect-Bandbreite gegenüber dem Trn2 UltraServer verdoppelt.
Trn3 bietet im Vergleich zu unseren Trn2-UltraServern eine bis zu 4,4-mal höhere Leistung, eine 3,9-mal höhere Speicherbandbreite und eine 4-fach bessere Leistung pro Watt. Damit bietet er das beste Preis-Leistungs-Verhältnis für das Training und den Betrieb von Modellen im Frontier-Maßstab, darunter Reinforcement Learning, Mixture-of-Experts (MoE), Argumentation und Architekturen mit langem Kontext. Auf Amazon Bedrock ist Trainium3 unser schnellster Beschleuniger und bietet eine bis zu dreimal schnellere Leistung als Trainium2 mit über fünfmal höheren Ausgangstoken pro Megawatt bei ähnlicher Latenz pro Benutzer.
Die neuen Trn3 UltraServer wurden für KI-Forscher entwickelt und basieren auf dem AWS Neuron SDK, um eine bahnbrechende Leistung zu erzielen. Mit der nativen PyTorch-Integration können Entwickler trainieren und bereitstellen, ohne eine einzige Zeile Modellcode zu ändern. Für KI-Leistungsingenieure haben wir einen umfassenderen Zugriff auf Trainium3 ermöglicht, sodass sie die Leistung optimieren, Kernel anpassen und Modelle noch weiter vorantreiben können. Da Innovation von Offenheit lebt, werden wir mit unseren Entwicklern über Open-Source-Tools und -Ressourcen zusammenarbeiten.