Ankündigung von AWS Neuron SDK 2.26.0
Heute gibt AWS die allgemeine Verfügbarkeit des Neuron SDK 2.26.0 bekannt, das Verbesserungen für Deep Learning-Workloads auf AWS Inferentia- und Trainium-basierten Instanzen bietet. Diese Version bietet Unterstützung für PyTorch 2.8 und JAX 0.6.2 sowie erweiterte Inferenzfunktionen für Trainium2 (Trn2) Instanzen. Diese Updates ermöglichen es Entwicklern, die neuesten Frameworks zu nutzen und gleichzeitig von einer verbesserten Flexibilität bei der Modellbereitstellung und Leistungsoptimierungen zu profitieren.
Mit Neuron SDK 2.26.0 können Kunden jetzt das FLUX.1-dev Modell zur Bilderzeugung zusammen mit den Llama 4 Scout und Maverick Varianten (Beta) auf Trn2-Instances einsetzen. Die Version führt die Unterstützung von Experten-Parallelität (Beta) für die effiziente Verteilung von Mixture-of-Experts (MoE)-Modellen auf mehrere NeuronCores ein und bietet neue Möglichkeiten durch neue Neuron Kernel Interface (NKI)-APIs. Der aktualisierte Neuron Profiler bietet verbesserte Funktionen, einschließlich der Gruppierung von Systemprofilen für verteilte Workloads.
Die neue SDK-Version ist in allen AWS-Regionen verfügbar, die Inferentia- und Trainium-Instanzen unterstützen, und bietet verbesserte Leistungs- und Überwachungsfunktionen für Machine Learning-Workloads.
Weitere Informationen und eine vollständige Liste der neuen Features und Verbesserungen finden Sie unter: