Los modelos Cosmos3-Edge, Cosmos3-Nano y Cosmos3-Super ya están disponibles en Amazon SageMaker JumpStart
Los modelos Cosmos3-Edge, Cosmos3-Nano y Cosmos3-Super de NVIDIA ya están disponibles en Amazon SageMaker JumpStart, lo que amplía la cartera de modelos básicos disponibles para los clientes de AWS. Estos tres modelos forman la familia Cosmos 3 de modelos mundiales omnimodales abiertos y fronterizos para la IA física, que permiten a los clientes construir robots, vehículos autónomos e inteligencia artificial de visión que perciben, razonan, planifican y actúan en el mundo físico.
Estos modelos abordan diferentes desafíos físicos de la IA con capacidades especializadas:
Cosmos3-Edge está diseñado para el control de robots en el dispositivo y el razonamiento visual en tiempo real en hardware periférico. Este modelo omnímodo de 4000 millones de parámetros (con un razonador de 2000 millones basado en Nemotron) funciona con una resolución de control robótico (640 × 360), ofrece un razonamiento en tiempo real y genera 32 acciones por inferencia a 15 Hz en NVIDIA Jetson Thor. Es compatible con vídeo de 256p y 480p a 12—30 FPS, lo que brinda capacidades de IA física de vanguardia directamente a los sistemas integrados.
Cosmos3-Nano se destaca en la generación de mundos y el razonamiento físico conscientes de la física como un modelo omnimodal compacto de 16 000 millones de parámetros. Procesa combinaciones de texto, imagen, vídeo, audio y trayectorias de acción para producir los resultados correspondientes, lo que permite a los robots y a los agentes de IA de visión razonar utilizando conocimientos previos, comprensión de la física y sentido común. Es compatible con el razonamiento en cadena sobre texto, imágenes y vídeos con resoluciones de hasta 720p.
Cosmos3-Super proporciona la generación y simulación mundiales de mayor fidelidad de la familia Cosmos 3 con 64 000 millones de parámetros. Procesa y genera de forma conjunta secuencias de lenguaje, imágenes, vídeo, audio y acción dentro de una arquitectura unificada de mezcla de transformadores, que admite resoluciones de hasta 720p en múltiples relaciones de aspecto. Ideal para simulaciones a gran escala, generación de datos sintéticos y flujos de trabajo de aprendizaje de políticas.
Con SageMaker JumpStart, los clientes pueden implementar cualquiera de estos modelos con solo unos clics para abordar sus casos de uso específicos de IA.
Para empezar a utilizar estos modelos, navegue hasta el catálogo de modelos JumpStart de SageMaker en la consola de SageMaker o utilice el SDK de Python de SageMaker para implementar los modelos en su cuenta de AWS. Para obtener más información sobre la implementación y el uso de modelos fundacionales en SageMaker JumpStart, consulte la documentación de Amazon SageMaker JumpStart.