Veröffentlicht am: Dec 22, 2023
AWS Neuron ist das SDK für Amazon EC2 Inferentia- und Trainium-basierte Instances, das speziell für generative KI entwickelt wurde. Heute, mit der Veröffentlichung von Neuron 2.16, kündigen wir die Unterstützung für die Llama-2-70b-Modellinferenz in Inf2-Instances an.
Neuron lässt sich in beliebte ML-Frameworks wie PyTorch und TensorFlow integrieren, sodass Sie mit minimalen Codeänderungen und ohne herstellerspezifische Lösungen loslegen können. Neuron umfasst einen Compiler, eine Laufzeit, Tools und Bibliotheken zur Unterstützung des Hochleistungstrainings und der Inferenz generativer KI-Modelle auf Trn1-Instances und Inf2-Instances.
Neuron 2.16 bietet Inferenzunterstützung für die Modelle Llama-2 70b und Mistral-7b mit Transformers NeuronX. Diese Version beinhaltet Unterstützung für PyTorch 2.1 (Beta) und Amazon Linux 2023. Neuron 2.16 verbessert die Benutzererfahrung beim LLM-Modelltraining mit Unterstützung von PyTorch Lightning Trainer (Beta). Die PyTorch-Inferenz ermöglicht es jetzt, verschiedene fein abgestimmte Gewichte für geladene Modelle dynamisch auszutauschen. In dieser Version wird das Tool Neuron Distributed Event Tracing (NDET) eingeführt, um das Debugging und die Profilierung kollektiver Kommunikationsoperatoren im Neuron-Profiler-Tool zu verbessern.
Sie können das AWS Neuron SDK verwenden, um Modelle auf Trn1- und Inf2-Instances zu trainieren und bereitzustellen, die in den folgenden AWS-Regionen als On-Demand-Instances, Reserved Instances, Spot Instances oder als Teil eines Savings Plan verfügbar sind: USA Ost (Nord-Virginia), USA West (Oregon) und USA Ost (Ohio).
Eine vollständige Liste der neuen Features und Verbesserungen in Neuron 2.16 finden Sie in den Versionshinweisen zu Neuron. Informationen zu den ersten Schritten mit Neuron finden Sie unter: