AWS Neuron jetzt mit NxD Inference in der GA-Version, neuen Features und verbesserten Tools
Heute kündigt AWS die Veröffentlichung von Neuron 2.23 an, das Verbesserungen in Bezug auf Inferenz, Schulungsfunktionen und Entwicklertools bietet. In dieser Version wird die NxD Inference Library (nXDI) auf General Availability (GA) umgestellt, neue Trainingsfunktionen wie Context Parallelism und ORPO eingeführt und Unterstützung für PyTorch 2.6 und JAX 0.5.3 hinzugefügt.
Die NxD Inference-Bibliothek wechselt von der Betaversion zur allgemeinen Verfügbarkeit und wird jetzt für alle Multi-Chip-Inferenz-Anwendungsfälle empfohlen. Zu den wichtigsten Verbesserungen gehören die Unterstützung von persistentem Cache zur Verkürzung der Kompilierungszeiten und eine optimierte Modellladezeit.
Für Trainingsworkloads bietet die NxD Trainingsbibliothek die Unterstützung von Context Parallelism (Beta) für Lama-Modelle und ermöglicht Sequenzlängen von bis zu 32 KB. Die Version bietet Unterstützung für die Modellausrichtung mithilfe von ORPO mit Datensätzen im DPO-Stil und eine verbesserte Unterstützung für Bibliotheken von Drittanbietern, insbesondere: PyTorch Lightning 2.5, Transformers 4.48 und NeMo 2.1.
Das Neuron Kernel Interface (NKI) führt neue 32-Bit-Ganzzahloperationen, verbesserte ISA-Features für Trainium2 und neue APIs zur Leistungsoptimierung ein. Der Neuron Profiler bietet jetzt eine 5-mal schnellere Anzeige von Profilergebnissen, eine zeitleistenbasierte Fehlerverfolgung und eine verbesserte Multiprozessvisualisierung mit Perfetto.
AWS Neuron SDK unterstützt das Trainieren und Bereitstellen von Modellen auf Trn1, Trn2 und Inf2-Instances, die in AWS-Regionen als On-Demand-Instances, Reserved Instances, Spot Instances oder als Teil eines Savings Plan verfügbar sind.
Eine vollständige Liste der neuen Features und Erweiterungen in Neuron 2.23 sowie Hinweise für den Einstieg in Neuron finden Sie unter: