AWS Neuron présente NxD Inference disponible de manière générale, de nouvelles fonctionnalités et des outils améliorés
AWS annonce aujourd'hui la sortie de Neuron 2.23, qui apporte des améliorations en matière d'inférence, de fonctionnalités de formation et d'outils de développement. Cette version rend la bibliothèque d'inférence NxD (NxDI) disponible de manière générale, introduit de nouvelles fonctionnalités d’entraînement, notamment le parallélisme contextuel et l'ORPO, et ajoute la prise en charge de PyTorch 2.6 et JAX 0.5.3.
La bibliothèque d'inférence NxD passe de la version bêta à la disponibilité générale, désormais recommandée pour tous les cas d'utilisation de l'inférence multi-puces. Les principales améliorations incluent la prise en charge du cache persistant pour réduire les temps de compilation et optimiser le temps de chargement des modèles.
Pour les charges de travail d’entraînement, la bibliothèque de formation NxD introduit la prise en charge du parallélisme contextuel (bêta) pour les modèles Llama, permettant des longueurs de séquences allant jusqu'à 32 000. La version ajoute la prise en charge de l'alignement des modèles à l'aide d'ORPO avec des jeux de données de style DPO, ainsi qu'une prise en charge améliorée pour les bibliothèques tierces, notamment : PyTorch Lightning 2.5, Transformers 4.48 et NeMo 2.1.
La Neuron Kernel Interface (NKI) introduit de nouvelles opérations sur les entiers 32 bits, des fonctionnalités ISA améliorées pour Trainium2 et de nouvelles API de réglage des performances. Le Neuron Profiler offre désormais une visualisation des résultats de profil 5 fois plus rapide, un suivi des erreurs basé sur la chronologie et une visualisation multiprocessus améliorée avec Perfetto.
Le kit SDK AWS Neuron prend en charge l’entraînement et le déploiement de modèles sur les instances Trn1, Trn2 et Inf2, disponibles dans les régions AWS sous forme d'instances à la demande, d'instances réservées, d'instances Spot ou dans le cadre d'un Savings Plan.
Pour une liste complète des nouvelles fonctionnalités et améliorations de Neuron 2.23 et pour commencer à utiliser Neuron, voir :