Veröffentlicht am: Aug 29, 2023
AWS Neuron ist das SDK für Inferentia- und Trainium-basierte Amazon-EC2-Instances, das speziell für generative KI entwickelt wurde. Mit der Veröffentlichung von Neuron 2.13 starten wir heute die Unterstützung für Llama-2-Modelltraining und -Inferenz, GPT-NeoX-Modelltraining und fügen Unterstützung für die Inferenz von Stable-Diffusion-XL- und CLIP-Modellen hinzu.
Neuron lässt sich in beliebte ML-Frameworks wie PyTorch und TensorFlow integrieren, sodass Sie mit minimalen Codeänderungen und ohne herstellerspezifische Lösungen loslegen können. Neuron umfasst einen Compiler, eine Laufzeit, Profilierungstools und Bibliotheken zur Unterstützung des Hochleistungstrainings generativer KI-Modelle auf Trn1-Instances und der Inferenz auf Inf2-Instances. Neuron 2.13 führt die Megatron-Bibliothek AWS Neuron Reference für Nemo ein, die das verteilte Training von LLMs wie Llama 2 und GPT-3 unterstützt, und fügt Unterstützung für das GPT-NeoX-Modelltraining mit der Neuron Distributed Library hinzu. Diese Version bietet optimierte LLM-Inferenzunterstützung für Llama 2 mit der Transformers-Neuron-Bibliothek und Unterstützung für SDXL-, Perceiver- und CLIP-Modellinferenz mit PyTorch Neuron.
Sie können das AWS Neuron SDK verwenden, um Modelle auf Trn1- und Inf2-Instances zu trainieren und bereitzustellen, die in den folgenden AWS-Regionen als On-Demand-Instances, Reserved Instances und Spot Instances oder als Teil eines Savings Plan verfügbar sind: USA Ost (Nord-Virginia), USA West (Oregon) und USA Ost (Ohio).
Eine vollständige Liste der neuen Features und Verbesserungen in Neuron 2.13 finden Sie in den Versionshinweisen zu Neuron. Informationen zu den ersten Schritten mit Neuron finden Sie unter: