Le kit AWS Neuron SDK 2.29.0 est désormais disponible avec NKI et Neuron Explorer sortis de la version bêta, un nouveau simulateur de processeur et une bibliothèque NKI étendue
Dans cette version, le kit AWS Neuron SDK 2.29.0 fait passer Neuron Kernel Interface (NKI) de la version bêta à la version stable avec la version 0.3.0. NKI donne aux développeurs un accès de programmation direct et de bas niveau à AWS Trainium et AWS Inferentia NeuronCores à l’aide d’une syntaxe basée sur Python. Cette version présente la bibliothèque standard NKI, qui expose le code source visible par les développeurs pour toutes les API NKI et les objets en langage natif. Elle contient également un nouveau simulateur de processeur qui permet aux développeurs d’écrire, de tester et de déboguer des noyaux NKI localement sur un processeur standard, sans avoir besoin de matériel Trainium, à l’aide d’outils de débogage Python standard. NKI 0.3.0 ajoute également de nouvelles caractéristiques de niveau ISA, notamment une instruction exponentielle dédiée, un contrôle d’accumulation matmul, des paramètres de priorité DMA pour Trn3 et des collectifs tout à tous de longueur variable.
La bibliothèque NKI s’enrichit de 7 nouveaux noyaux expérimentaux couvrant Conv1D, un méga noyau multicouche de génération de jetons Transformer, des primitives de communication et de calcul fusionnées pour Trainium2 et des opérations de tuilage dynamique. Les noyaux existants bénéficient également d’améliorations. Attention, la CTE s’adapte à des tailles de lots et à des longueurs de séquences plus importantes, le MLP ajoute des chemins de quantification à précision mixte et le MoE TKG introduit un algorithme dynamique entièrement expert.
Pour l’inférence, NxD Inference améliore la prise en charge des modèles de langage de vision grâce à des optimisations pour Qwen3 VL et Qwen2 VL, notamment le parallélisme des séquences du modèle de texte et le parallélisme des données de vision. Le plug-in vLLM Neuron a été mis à jour vers la version 0.5.0.
Neuron Explorer, la suite d’outils de profilage et de débogage de Neuron, passe également de la version bêta à la version stable. Le System Trace Viewer prend désormais en charge le jeu complet de widgets d’appareils pour l’analyse de profils multi-appareils, et l’outil est disponible sur le VS Code Extension Marketplace pour une installation simplifiée. Pour en savoir plus sur la version, consultez les notes de mise à jour du kit SDK AWS Neuron 2.29.0.
Le kit SDK est disponible dans toutes les Régions AWS prenant en charge les instances Inferentia et Trainium.
En savoir plus :