AWS Neuron enthält Neuron Kernel Interface (NKI), NxD Training und JAX-Unterstützung für Training
AWS verkündet heute die Veröffentlichung von Neuron 2.20 und präsentiert Neuron Kernel Interface (NKI) (Beta), eine Programmierschnittstelle für AWS Trainium und Inferentia, die es Entwicklern ermöglicht, optimierte Rechenkerne für neue Funktionalitäten, Optimierungen und wissenschaftliche Innovationen zu entwickeln. In dieser Version wird außerdem NxD Training (Beta) eingeführt, eine PyTorch-basierte Bibliothek, die effizientes verteiltes Training ermöglicht, inklusive einer bedienungsfreundlichen Benutzeroberfläche, die mit NeMO kompatibel ist. Diese Version unterstützt auch das JAX-Framework (Beta).
AWS Neuron ist das SDK für AWS Inferentia- und Trainium-basierte Instances, das speziell für generative KI entwickelt wurde. Neuron lässt sich in beliebte ML-Frameworks wie PyTorch integrieren. Es umfasst einen Compiler, eine Laufzeit, Tools und Bibliotheken zur Unterstützung des Hochleistungstrainings und der Inferenz von KI-Modellen auf Trn1-Instances und Inf2-Instances.
Diese Version bietet Support-Features und Performanceverbesserungen für Modelltraining und Inferenz. Für das Training bietet diese Version die Modelle Llama 3.1 8B und 70B, die eine Sequenzlänge von bis zu 32 KB unterstützen, zusammen mit torch.autocast () für die native PyTorch-Mixed-Precision-Unterstützung und PEFT-LoRa-Techniken. Für die Inferenz bietet Neuron 2.20 Unterstützung für Llama 3.1 (405b, 70b, 8b) und Diffusion Transformers (DiT)-Modelle wie PixArt-Alpha und PixArt-Sigma. Zusätzlich bietet diese Version Inferenzunterstützung mit Top-p-Sampling auf dem Gerät und 128 K Kontextlänge mit Flash-Dekodierung. Diese Version unterstützt auch das Betriebssystem Rocky 9.0 und die Operatoren rmsNorm und rmsNormDx im Neuron Compiler.
Weitere Informationen hierzu finden Sie in den Versionshinweisen zu Neuron.