AWS Neuron 2.33 bietet native PyTorch-Unterstützung, Neuron Observer und andere neue Funktionen
AWS Neuron 2.33 ist jetzt verfügbar und stellt TorchNeuron, das native PyTorch-Backend für AWS Trainium, in der öffentlichen Betaversion vor. Sie können Modelle, die mit den Standard-PyTorch-APIs geschrieben wurden, auf Instances von Amazon EC2 Trn2 und Trn3 im Eager-Modus oder mit torch.compile ausführen. In dieser Version wird auch Neuron Observer in der öffentlichen Betaversion eingeführt, der Trainium-Zustandsprobleme in weniger als einer Sekunde erkennt und den betroffenen Knoten oder das betroffene Gerät identifiziert.
Das vLLM-Neuron-Plugin wird auf vLLM 0.29.0 aktualisiert, und das vLLM-Omni-Neuron-Plugin für die Wan2.2-Videogenerierung ist jetzt Teil der Neuron-Version. Beide unterstützen die native PyTorch-Kompilierung über TorchNeuron. Ein neues Neuron-Deep-Learning-AMI und ein Deep-Learning-Container für das PyTorch-Training umfassen TorchNeuron, PyTorch 2.14 und TorchTitan. Neuron Explorer öffnet Profile, die mit torch.profiler erfasst wurden. Aus einem PyTorch-Speicher-Snapshot heraus ordnet es nun den Python-Quellzeilen, die sie erstellt haben, Zuweisungen zu, um Fehler aufgrund von Speichermangel im Eager-Modus zu beheben.
Kernel, die mit dem Neuron Kernel Interface (NKI) geschrieben wurden, können jetzt die vollständige Python-Sprache für die Metaprogrammierung verwenden, einschließlich Generatoren und Klassenübernahmen. Die NKI-Bibliothek fügt 25 neue experimentelle Kernel hinzu, darunter Kernel für DeepSeek-V3.2, Qwen3.5 und Kimi Delta Attention.
Für die ersten Schritte empfehlen wir die folgenden Ressourcen: