Il modello NVIDIA Nemotron 3.5 Lightning è ora disponibile su Amazon SageMaker JumpStart
Nemotron 3.5 Lightning di NVIDIA è ora disponibile su Amazon SageMaker JumpStart, offrendo ai clienti AWS l'accesso al modello aperto più veloce della sua categoria per carichi di lavoro persistenti degli agenti e una rapida esecuzione delle attività.
Nemotron 3.5 Lightning è progettato per agenti persistenti e per l'automazione aziendale a throughput elevato in vari settori, tra cui gli assistenti personali, l'elaborazione di documenti finanziari, il triage della sicurezza informatica e le operazioni di telecomunicazione. Sviluppato su un'architettura ibrida Mixture-of-Experts (MoE) con 30 miliardi di parametri totali e solo 3 miliardi attivi per ogni passaggio diretto, raggiunge un throughput fino a 4 volte superiore (~410 token al secondo) e un completamento delle attività più rapido del 30% rispetto a modelli comparabili. Derivato per distillazione da Nemotron 3 Ultra, gestisce fino a 1 milione di token di contesto tramite la decodifica speculativa DFlash e si integra direttamente con le più diffuse agent harness. Il modello viene addestrato interamente su set di dati aperti, consentendo così alle aziende di eseguire una fase di post-addestramento (post-training) in base ai propri strumenti, flussi di lavoro e policy, e di distribuirlo mantenendone la completa proprietà su infrastrutture edge, on-premises o nel cloud.
Con SageMaker JumpStart, i clienti possono distribuire questo modello in pochi clic per potenziare i propri carichi di lavoro di IA specifici.
Per iniziare, accedi al catalogo modelli di SageMaker JumpStart nella console SageMaker oppure utilizza l'SDK SageMaker Python per distribuire i modelli nell'account AWS. Per ulteriori informazioni sulla distribuzione e l'utilizzo dei modelli di fondazione in SageMaker JumpStart, consulta la documentazione di Amazon SageMaker JumpStart.