Veröffentlicht am: Oct 27, 2023
AWS Neuron ist das SDK für Amazon EC2 Inferentia- und Trainium-basierte Instances, das speziell für generative KI entwickelt wurde. Heute, mit der Veröffentlichung von Neuron 2.15, kündigen wir die Unterstützung für das Llama-2 70b-Modelltraining sowie die Unterstützung von PyTorch 2.0 an.
Neuron lässt sich in beliebte ML-Frameworks wie PyTorch und TensorFlow integrieren, sodass Sie mit minimalen Codeänderungen und ohne herstellerspezifische Lösungen loslegen können. Neuron umfasst einen Compiler, eine Laufzeit, Profilierungstools und Bibliotheken zur Unterstützung des Hochleistungstrainings generativer KI-Modelle auf Trn1-Instances und der Inferenz auf Inf2-Instances. Diese Version bietet Unterstützung für das Llama-2 70b-Modelltraining mit der Neuron Distributed Library und fügt Beta-Unterstützung für PyTorch 2.0 hinzu.
Sie können das AWS Neuron SDK verwenden, um Modelle auf Trn1- und Inf2-Instances zu trainieren und bereitzustellen, die in den folgenden AWS-Regionen als On-Demand-Instances, Reserved Instances und Spot Instances oder als Teil eines Savings Plan verfügbar sind: USA Ost (Nord-Virginia), USA West (Oregon) und USA Ost (Ohio).
Eine vollständige Liste der neuen Features und Verbesserungen in Neuron 2.15 finden Sie in den Versionshinweisen zu Neuron. Informationen zu den ersten Schritten mit Neuron finden Sie unter: