AWS Neuron 2.31.0 jetzt mit NKI 0.5.0 und UltraServer Operator verfügbar
AWS Neuron 2.31.0 ist jetzt verfügbar und damit auch NKI 0.5.0 mit neuer Unterstützung für MX FP8 Scale Dtype, Tensor-Indirektion bei Rechenoperationen für weniger Anweisungen in indizierten Zugriffsmustern und neuen NKITensor-View-APIs für kostenlose Tensor-Layout-Transformationen. In dieser Version wird auch der Neuron UltraServer Operator für Amazon EKS in der öffentlichen Betaversion eingeführt, der die UltraServer-Erkennung, Workload-Zuweisung und Generierung von Ressourcenansprüchen für Trainium UltraServer-Workloads auf Amazon EKS automatisiert.
Der Neuron Compiler enthält ein neu gestaltetes Backend zur Codegenerierung, das jetzt standardmäßig auf Trn2 und Trn3 aktiviert ist und eine verbesserte Leistung bietet. Die Neuron Runtime bietet Unterstützung für zusammenhängende gemeinsame Scratchpads und vereinfacht so die Gerätekonfiguration, da die Seitengrößen des Scratchpads nicht mehr manuell festgelegt werden müssen. In der NKI-Bibliothek werden neben PyTorch-Referenzimplementierungen 14 neue experimentelle Kernel hinzugefügt, die MoE-Trainingskollektive, Deformable Attention, DeepSeek MLA-Projektion und Ring Attention abdecken. Neuron Explorer bietet jetzt System Trace Viewer-Quellcode-Links und eine aktualisierte Standardgruppierung für ein verbessertes Workload-Debugging.
Für die ersten Schritte empfehlen wir die folgenden Ressourcen:
AWS Neuron ist in allen AWS-Regionen verfügbar, in denen Amazon-EC2-Trn1-, -Trn2-, -Trn3-, -Inf2- und -Inf1-Instances verfügbar sind. Informationen zur regionalen Verfügbarkeit finden Sie in der Tabelle der AWS-Regionen.