AWS Neuron 2.30.0 ist jetzt mit NKI 0.4.0 und 22 neuen NKI Library-Kernels verfügbar
Heute kündigt AWS die allgemeine Verfügbarkeit von AWS Neuron 2.30.0 an und liefert NKI 0.4.0 mit neuen AWS Trainium3-spezifischen Hardwarefunktionen, 22 neuen NKI-Bibliothekskernels und erweiterten Neuron Agentic Development-Fähigkeiten zur Modellportierung und -validierung. Diese Version richtet sich an ML-Entwickler, die benutzerdefinierte Kernel erstellen, Trainings- und Inferenz-Workloads optimieren oder Modelle auf AWS Trainium und Inferentia portieren.
NKI 0.4.0 führt die Anweisung activate2 Scalar Engine für Trn3, OCP FP8-Eingabeunterstützung für Matrixmultiplikation und bytebewusste Kachelgrößenkonstanten ein, die die Kernelentwicklung vereinfachen. Die NKI-Bibliothek fügt 3 neue Kernel für segmentierte Aufmerksamkeit, KV-paralleles Prefill und FP8-Quantisierung sowie 19 experimentelle Kernels hinzu, die sich mit Kontextparallelität, MXFP8-Training, Zustandsraummodellen und fusionierten Optimierern befassen. PyTorch-Referenzimplementierungen sind jetzt für 29 Kernel verfügbar.
Neuron Agentic Development, das im April 2026 als Betaversion gestartet wurde, bietet zwei neue Fähigkeiten: Neuron-Framework-Autoport für die durchgängige Portierung von HuggingFace-Modellen auf NxD Inference und Neuron-Framework-Äquivalenz für die Validierung der numerischen Äquivalenz portierter Modelle. Standardmäßig sind beide jetzt in allen Neuron-DLAMIs und Deep Learning-Containern enthalten. In dieser Version wird auch der Neuron DRA-Treiber für Kubernetes Dynamic Resource Allocation eingeführt, der eine topologiebezogene Planung von Trainium-Beschleunigern und Elastic Fabric Adapter-Schnittstellen (EFA) ermöglicht. Der Neuron Graph Compiler bietet jetzt erhebliche Verbesserungen bei der Kompilierzeit, und die Neuron Runtime ermöglicht standardmäßig Nullkopie-Übertragungen von Host-Geräten.
AWS Neuron ist in allen AWS-Regionen verfügbar, in denen Amazon-EC2-Trn1-, -Trn2-, -Inf2- und -Inf1-Instances verfügbar sind. Informationen zur regionalen Verfügbarkeit finden Sie in der Tabelle der AWS-Regionen.
Für die ersten Schritte empfehlen wir die folgenden Ressourcen: