AWS Neuron SDK 2.29.0 ist jetzt mit NKI und Neuron Explorer aus der Betaversion, einem neuen CPU-Simulator und einer erweiterten NKI-Bibliothek verfügbar
In dieser Version befördert das AWS Neuron SDK 2.29.0 das Neuron Kernel Interface (NKI) mit Version 0.3.0 von Beta auf Stable. NKI bietet Entwicklern mithilfe einer Python-basierten Syntax direkten Low-Level-Programmierzugriff auf AWS Trainium und AWS Inferentia NeuronCores. In dieser Version wird die NKI Standard Library eingeführt, die für Entwickler sichtbaren Quellcode für alle NKI-APIs und Objekte in der Muttersprache verfügbar macht. Es enthält auch einen neuen CPU-Simulator, mit dem Entwickler NKI-Kernel lokal auf einer Standard-CPU schreiben, testen und debuggen können, ohne Trainium-Hardware zu benötigen, und die Standard-Python-Debugging-Tools verwenden. NKI 0.3.0 fügt außerdem neue Funktionen auf ISA-Ebene hinzu, darunter eine spezielle exponentielle Anweisung, Matmul-Akkumulationskontrolle, DMA-Prioritätseinstellungen für Trn3 und All-to-All-Kollektive mit variabler Länge.
Die NKI-Bibliothek wird um 7 neue experimentelle Kernel erweitert, die Conv1D, einen mehrschichtigen Megakernel zur Generierung von Transformer-Tokens, fusionierte Kommunikationsberechnungsprimitive für Trainium2 und dynamische Tiling-Operationen abdecken. Bestehende Kernel erhalten ebenfalls Verbesserungen. Achtung CTE skaliert auf größere Chargengrößen und Sequenzlängen, MLP fügt Quantisierungspfade mit gemischter Präzision hinzu und MoE TKG führt einen dynamischen All-Expert-Algorithmus ein.
Für Inferenz verbessert NxD Inference die Unterstützung von Bildsprachmodellen durch Optimierungen für Qwen3 VL und Qwen2 VL, einschließlich Textmodell-Sequenzparallelität und Bilddatenparallelität. Das vLLM Neuron Plugin wurde auf Version 0.5.0 aktualisiert.
Neuron Explorer, Neurons Profiling- und Debugging-Toolsuite, wechselt ebenfalls von Beta zu Stable. Der System Trace Viewer unterstützt jetzt den gesamten Satz von Geräte-Widgets für die Profilanalyse mehrerer Geräte. Das Tool ist für eine optimierte Installation auf dem VS Code Extension Marketplace verfügbar. Vollständige Versionsdetails finden Sie in den Versionshinweisen zu AWS Neuron SDK 2.29.0.
Das SDK ist in allen AWS-Regionen verfügbar und unterstützt Inferentia- und Trainium-Instances.
Weitere Informationen: