Warum Amazon-EC2-UltraServer?
UltraServer von Amazon Elastic Compute Cloud (Amazon EC2) eignen sich hervorragend für Kunden, die die höchste KI-Trainings- und Inferenzleistung für Modelle im Billionen-Parameter-Maßstab benötigen. UltraServer verbinden mehrere EC2-Instances über eine dedizierte Beschleunigerverbindung mit hoher Bandbreite und niedriger Latenz, sodass Sie ein eng gekoppeltes Netz von Beschleunigern für alle EC2-Instances nutzen und auf deutlich mehr Rechenleistung und Speicher zugreifen können als eigenständige EC2-Instances.
EC2-UltraServer eignen sich hervorragend für die größten Modelle, die mehr Speicher und mehr Speicherbandbreite benötigen, als eigenständige EC2-Instances bieten können. Das UltraServer-Design nutzt die Beschleuniger-Konnektivität innerhalb einer Instance, um mehrere Instances zu einem Knoten zu verbinden und so neue Funktionen freizuschalten. UltraServer bieten branchenweit führende Reaktionszeiten und ermöglichen so beste Echtzeit-Erlebnisse. Beim Training steigern UltraServer die Geschwindigkeit und Effizienz des Modelltrainings durch eine schnellere kollektive Kommunikation für Modellparallelität im Vergleich zu eigenständigen Instances. EC2-UltraServer unterstützen EFA-Netzwerke und ermöglichen (wenn sie in EC2-UltraClustern bereitgestellt werden) verteiltes Skalierungstraining auf Zehntausenden von Beschleunigern in einem einzigen blockierungsfreien Netzwerk im Petabit-Bereich. Durch die höhere Leistung sowohl für Trainings als auch für Inferenzen beschleunigen UltraServer Ihre Markteinführungszeit und unterstützen Sie bei der Bereitstellung von Echtzeitanwendungen, die auf den leistungsstärksten Basismodellen der nächsten Generation basieren.
Vorteile
Funktionen
Unterstützte Instances
Trn2-Instances
Trn2-Instances in einer Trn2-UltraServer-Konfiguration (in der Vorversion verfügbar) werden von AWS-Trainium2-Chips unterstützt und ermöglichen die Skalierung auf bis zu 64 Trainium2-Chips, die mit NeuronLink, der dedizierten Verbindung mit hoher Bandbreite und niedriger Latenz für AWS-KI-Chips, verbunden sind. Trn2-UltraServer bieten eine bahnbrechende Leistung in Amazon EC2 für generatives KI-Training und Inferenz.