NVIDIA Nemotron 3 Nano è ora disponibile su Amazon Bedrock
Amazon Bedrock ora supporta il modello NVIDIA Nemotron 3 Nano 30B A3B, l'ultima innovazione di NVIDIA nella modellazione efficiente del linguaggio, che offre elevate prestazioni di ragionamento, supporto nativo per le chiamate agli strumenti ed elaborazione estesa del contesto con finestra contestuale di 256k token. Questo modello utilizza un’efficiente architettura ibrida Mixture-of-Experts (MoE) per garantire un throughput superiore rispetto ai modelli precedenti per i carichi di lavoro agentici e di codifica, pur mantenendo la profondità di ragionamento di un modello più ampio. Grazie ai controlli di ragionamento espliciti e a una maggiore precisione resa possibile da tecniche avanzate di apprendimento per rinforzo e da post-formazione multiambiente su larga scala, questo modello è ideale per aziende, startup e singoli sviluppatori che realizzano flussi di lavoro multiagente, strumenti di produttività per sviluppatori, automazione dei processi e analisi del ragionamento scientifico e matematico, tra gli altri.
NVIDIA Nemotron 3 Nano su Amazon Bedrock è basato su Project Mantle, un nuovo motore di inferenza distribuito per il serving di modelli di machine learning su larga scala su Amazon Bedrock. Project Mantle semplifica e accelera l'onboarding di nuovi modelli su Amazon Bedrock, offre inferenza serverless, affidabile e ad alte prestazioni con controlli avanzati di qualità del servizio, garantisce quote clienti predefinite più elevate grazie alla gestione automatizzata della capacità e a pool unificati e fornisce compatibilità nativa con le specifiche dell'API OpenAI.
NVIDIA Nemotron 3 Nano è disponibile oggi su Amazon Bedrock nelle regioni AWS di Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), Stati Uniti occidentali (Oregon), Asia Pacifico (Tokyo), Asia Pacifico (Mumbai), Sud America (San Paolo), Europa (Londra) ed Europa (Milano) e supporta sia endpoint di servizio unificati sia endpoint di servizio compatibili con le API OpenAI su Amazon Bedrock. Per saperne di più e iniziare, visita la console Amazon Bedrock o la documentazione del servizio qui. Per iniziare a usare gli endpoint di servizio compatibili con le API di Amazon Bedrock OpenAI, consulta la documentazione qui.