Os modelos Cosmos3-Edge, Cosmos3-Nano e Cosmos3-Super agora estão disponíveis no Amazon SageMaker JumpStart
Os modelos Cosmos3-Edge, Cosmos3-Nano e Cosmos3-Super da NVIDIA agora estão disponíveis no Amazon SageMaker JumpStart, expandindo o portfólio de modelos básicos disponíveis para clientes da AWS. Esses três modelos formam a família Cosmos 3 de modelos mundiais omnimodais abertos e de fronteira para IA física, permitindo que os clientes construam robôs, veículos autônomos e inteligência artificial visual que percebem, raciocinam, planejam e agem no mundo físico.
Usando recursos especializados, esses modelos abordam diferentes desafios de IA empresarial:
O Cosmos3-Edge foi projetado para controle de robôs no dispositivo e raciocínio visual em tempo real em hardware de borda. Esse omnimodelo de 4 parâmetros (com um raciocínio baseado em Nemotron 2B) opera com resolução de controle de robô (640 × 360), fornecendo raciocínio em tempo real e gerando 32 ações por inferência a 15 Hz no NVIDIA Jetson Thor. Ele suporta vídeo de 256p e 480p a 12—30 FPS, trazendo recursos de IA física de ponta diretamente para sistemas embarcados.
O Cosmos3-Nano se destaca na geração mundial consciente da física e no raciocínio físico como um modelo omnimodal compacto de 16B parâmetros. Ele processa combinações de trajetórias de texto, imagem, vídeo, áudio e ação para produzir saídas correspondentes, permitindo que robôs e agentes de IAl de visão raciocinem usando conhecimento prévio, compreensão da física e bom senso. Ele suporta raciocínio em cadeia de pensamento sobre texto, imagens e vídeo com resoluções de até 720p.
O Cosmos3-Super fornece a geração e simulação mundial de mais alta fidelidade na família Cosmos 3 com parâmetros de 64B. Em conjunto, ele processa e gera linguagem, imagens, vídeo, áudio e sequências de ação em uma arquitetura unificada de mistura de transformadores, suportando resoluções de até 720p em várias proporções. Ideal para simulação em grande escala, geração de dados sintéticos e fluxos de trabalho de aprendizado de políticas.
Com o SageMaker JumpStart, os clientes podem implantar qualquer um desse modelos com apenas alguns cliques para abordar casos de uso de IA específicos.
Para começar a usar esses modelos, navegue até o catálogo de modelos do SageMaker JumpStart no SageMaker Studio ou use o SageMaker Python SDK para implantá-los na sua conta da AWS. Para obter mais informações sobre a implantação e o uso de modelos de base no SageMaker JumpStart, consulte a documentação do Amazon SageMaker JumpStart.