Amazon-EC2-Trn2-Instances sind allgemein verfügbar
Heute kündigt AWS die allgemeine Verfügbarkeit von Trn2-Instances in Amazon Elastic Compute Cloud (Amazon EC2) und die Vorschau von Trn2 UltraServer auf Basis von AWS-Trainium2-Chips an. Trn2-Instances und UltraServers, die beide über EC2 Capacity Blocks bereitgestellt werden, sind die leistungsstärksten EC2-Rechenlösungen für Deep Learning sowie Training und Inferenz von generativer KI.
Sie können auf Trn2-Instances die anspruchsvollsten Basismodelle (FMs) trainieren und bereitstellen, darunter große Sprachmodelle (LLMs), multimodale Modelle, Diffusionstransformatoren und mehr, um eine breite Palette von KI-Anwendungen zu ermöglichen. Um die Trainingszeiten zu verkürzen und bahnbrechende Reaktionszeiten (Latenz pro Token) für die leistungsstärksten Modelle auf dem neuesten Stand der Technik zu erzielen, benötigen Sie möglicherweise mehr Rechenleistung und Arbeitsspeicher, als eine einzelne Instance bereitstellen kann. Trn2 UltraServer ist ein völlig neues EC2-Angebot, das NeuronLink, eine Fabric mit hoher Bandbreite und niedriger Latenz, verwendet, um 64 Trainium2-Chips über 4 Trn2-Instances zu einem Knoten zu verbinden und so eine herausragende Leistung zu erzielen. Für Inferenz bieten UltraServer branchenweit führende Reaktionszeiten und ermöglichen so beste Echtzeit-Erlebnisse. Beim Training steigern UltraServer die Geschwindigkeit und Effizienz des Modelltrainings durch eine schnellere kollektive Kommunikation für Modellparallelität im Vergleich zu eigenständigen Instances.
Trn2-Instances verfügen über 16 Trainium2-Chips, die eine FP8-Rechenleistung von bis zu 20,8 Petaflops, 1,5 TB Speicher mit hoher Bandbreite und 46 TB/s Speicherbandbreite sowie 3,2 Tbit/s EFA-Netzwerkdurchsatz bereitstellen. Die Trn2-UltraServer verfügen über 64 Trainium2-Chips, die eine FP8-Rechenleistung von bis zu 83,2 Petaflops, 6 TB Gesamtspeicher mit hoher Bandbreite und 185 TB/s Gesamtspeicherbandbreite sowie 12,8 Tbit/s EFA-Netzwerkdurchsatz bereitstellen. Beide werden in EC2-UltraClustern eingesetzt, um blockierungsfreie Petabit-Scale-Out-Leistung für verteiltes Training bereitzustellen. Trn2-Instances sind in der AWS-Region USA Ost (Ohio) in der Größe trn2.48xlarge über EC2 Capacity Blocks für ML allgemein verfügbar.
Um mehr über Trn2-Instances zu erfahren und Zugriff auf Trn2 UltraServer zu beantragen, besuchen Sie bitte die Seite zu Trn2-Instances.