Ankündigung von AWS Neuron SDK 2.25.0
Heute gibt AWS die allgemeine Verfügbarkeit von Neuron SDK 2.25.0 bekannt, das Verbesserungen für Inferenz-Workloads und die Leistungsüberwachung auf AWS Inferentia- und Trainium-Instances bietet. Diese neueste Version bietet Unterstützung für Kontext- und Datenparallelität sowie Chunked Attention für die Verarbeitung langer Sequenzen bei der Inferenz. Darüber hinaus wurden die APIs „neuron-ls“ und „neuron-monitor“ aktualisiert und bieten nun mehr Informationen zu Knotenaffinitäten bzw. zur Gerätenutzung.
Diese Version führt außerdem automatisches Aliasing (Beta) für schnelle Tensoroperationen ein und enthält Verbesserungen für disaggregiertes Serving (Beta). Schließlich bietet es aktualisierte AMIs und Deep Learning-Container für Inferenz- und Trainings-Workloads auf Neuron.
Neuron 2.25.0 ist in allen AWS-Regionen verfügbar, in denen Inferentia- und Trainium-Instances angeboten werden.
Weitere Informationen und eine vollständige Liste der neuen Features und Verbesserungen finden Sie unter: