AWS Neuron 2.31.0 est désormais disponible avec NKI 0.5.0 et UltraServer Operator
AWS Neuron 2.31.0 est désormais disponible, introduisant NKI 0.5.0 avec la nouvelle prise en charge du type d’échelle MX FP8, l’indirection des tenseurs sur les opérations de calcul pour réduire le nombre d’instructions dans les modèles d’accès indexés, et les nouvelles API NkiTensor View pour des transformations de disposition des tenseurs gratuites. Cette version présente également l’Opérateur Neuron UltraServer pour Amazon EKS en version bêta publique, qui automatise la découverte d’UltraServer, l’allocation de la charge de travail et la génération de demandes de ressources pour les charges de travail Trainium UltraServer sur Amazon EKS.
Le compilateur Neuron inclut un back-end de génération de code repensé, désormais activé par défaut sur Trn2 et Trn3, offrant des performances améliorées. L’Exécution Neuron Runtime ajoute la prise en charge des blocs-notes partagés contigus, simplifiant ainsi la configuration de l’appareil en éliminant la nécessité de définir manuellement les tailles de page des blocs-notes. La bibliothèque NKI ajoute 14 nouveaux noyaux expérimentaux couvrant les collectifs d’entraînement MoE, l’attention déformable, la projection DeepSeek MLA et l’attention annulaire, ainsi que les implémentations de référence PyTorch. L’Explorateur Neuron ajoute un lien au code source de System Trace Viewer et un regroupement par défaut mis à jour pour améliorer le débogage de la charge de travail.
Pour commencer, consultez les ressources suivantes :
AWS Neuron est disponible dans toutes les Régions AWS où les instances Amazon EC2 Trn1, Trn2, Trn3, Inf2 et Inf1 sont disponibles. Pour en savoir plus sur la disponibilité régionale, consultez le tableau des régions AWS.