Le modèle Nemotron 3.5 Lightning de NVIDIA est désormais disponible sur Amazon SageMaker JumpStart
Nemotron 3.5 Lightning de NVIDIA est désormais disponible sur Amazon SageMaker JumpStart, ce qui permet aux clients AWS d’accéder au modèle ouvert le plus rapide de sa catégorie pour les charges de travail persistantes des agents et l’exécution rapide des tâches.
Nemotron 3.5 Lightning est conçu pour les agents persistants et l’automatisation d’entreprise à haut débit dans des domaines tels que les assistants personnels, le traitement des documents financiers, le triage en matière de cybersécurité et les opérations de télécommunications. Construit sur une architecture hybride de mélange d’experts (MoE) avec un total de 30 milliards de paramètres et seulement 3 milliards actifs par passe avant, il atteint un débit jusqu’à 4 fois supérieur (~410 jetons/sec) et une exécution des tâches 30 % plus rapide par rapport à des modèles comparables. Optimisé à partir du modèle Nemotron 3 Ultra, il gère jusqu’à 1 million de jetons de contexte via le décodage spéculatif DFlash et s’intègre directement aux harnais d’agents les plus populaires. Le modèle est entièrement basé sur des jeux de données ouverts, ce qui permet aux entreprises d’entraîner a posteriori leurs propres outils, workflows et stratégies, et de déployer en toute propriété sur une infrastructure de périphérie, sur site ou cloud.
Grâce à SageMaker JumpStart, les clients peuvent déployer ce modèle en quelques clics pour optimiser leurs charges de travail d’IA spécifiques.
Pour commencer à utiliser ces modèles, accédez au catalogue de modèles SageMaker JumpStart dans la console SageMaker ou utilisez le kit SDK Python de SageMaker pour déployer les modèles sur votre compte AWS. Pour en savoir plus sur le déploiement et l’utilisation de modèles de base dans SageMaker JumpStart, consultez la documentation relative à Amazon SageMaker JumpStart.