I modelli Cosmos3-Edge, Cosmos3-Nano e Cosmos3-Super sono ora disponibili su Amazon SageMaker JumpStart
I modelli Cosmos3-Edge, Cosmos3-Nano e Cosmos3-Super di NVIDIA sono ora disponibili su Amazon SageMaker JumpStart, ampliando il portafoglio di modelli di fondazione disponibili per i clienti AWS. Questi tre modelli costituiscono la famiglia Cosmos 3 di modelli del mondo omnimodali, open e di frontiera per l'IA fisica, che consentono ai clienti di costruire robot, veicoli autonomi e intelligenza artificiale visiva in grado di percepire, ragionare, pianificare e agire nel mondo fisico.
I modelli rispondono a diverse sfide dell'IA fisica con capacità dedicate:
Cosmos3-Edge è progettato per il controllo dei robot sul dispositivo e il ragionamento visivo in tempo reale su hardware edge. Questo modello omnimodale da 4 miliardi di parametri (con un modulo di ragionamento basato su Nemotron da 2 miliardi di parametri) funziona con una risoluzione di controllo robotico (640×360), fornendo un ragionamento in tempo reale e generando 32 azioni per inferenza a 15 Hz su NVIDIA Jetson Thor. Supporta video a 256p e 480p a 12-30 FPS, portando funzionalità di IA fisica di frontiera direttamente sui sistemi embedded.
Cosmos3-Nano eccelle nella generazione di mondi basata sulla fisica e nel ragionamento fisico come modello omnimodale compatto da 16 miliardi di parametri. Elabora combinazioni di testo, immagini, video, audio e traiettorie di azione per produrre output corrispondenti, consentendo ai robot e agli agenti IA di visione di ragionare utilizzando conoscenze pregresse, comprensione della fisica e buon senso. Supporta il ragionamento chain-of-thought su testo, immagini e video con risoluzioni fino a 720p.
Cosmos3-Super offre la generazione e la simulazione del mondo con la massima fedeltà nella famiglia Cosmos 3, con 64 miliardi di parametri. Elabora e genera congiuntamente linguaggio, immagini, video, audio e sequenze d'azione, all'interno di un'architettura unificata Mixture-of-Transformers, supportando risoluzioni fino a 720p su più rapporti d'aspetto. Ideale per la simulazione su larga scala, la generazione di dati sintetici e i flussi di lavoro di apprendimento delle policy.
SageMaker JumpStart consente ai clienti di distribuire uno qualsiasi di questi modelli con pochi clic per rispondere a specifici casi d'uso di IA.
Per iniziare, accedi al catalogo modelli di SageMaker JumpStart nella console SageMaker oppure utilizza l'SDK SageMaker Python per distribuire i modelli nell'account AWS. Per ulteriori informazioni sulla distribuzione e l'utilizzo dei modelli di fondazione in SageMaker JumpStart, consulta la documentazione di Amazon SageMaker JumpStart.