El modelo NVIDIA Nemotron 3.5 Lightning ya está disponible en Amazon SageMaker JumpStart
El Nemotron 3.5 Lightning de NVIDIA ya está disponible en Amazon SageMaker JumpStart. Esto le brinda a los clientes de AWS acceso al modelo abierto más rápido de su clase para cargas de trabajo de agentes persistentes y ejecución rápida de tareas.
Nemotron 3.5 Lightning está diseñado para agentes persistentes y automatización empresarial de alto rendimiento en todos los dominios, incluidos los asistentes personales, el procesamiento de documentos financieros, la clasificación de ciberseguridad y las operaciones de telecomunicaciones. Cuenta con una arquitectura híbrida de variedad de expertos (MoE), con 30 000 millones de parámetros en total y solo 3000 millones activos en cada pasada de inferencia. Ofrece hasta 4 veces más rendimiento (unos 410 tokens por segundo) y permite completar las tareas un 30 % más rápido que otros modelos similares. Este modelo, basado en Nemotron 3 Ultra, administra hasta 1 millón de tokens de contexto mediante la decodificación especulativa de Flash y se integra directamente con los populares arneses de agentes. El modelo se entrena completamente de forma abierta en conjuntos de datos abiertos, lo que permite a las empresas entrenarse posteriormente para sus propias herramientas, flujos de trabajo y políticas, e implementarlo con total propiedad en toda la infraestructura periférica, local o en la nube.
Con SageMaker JumpStart, los clientes pueden implementar este modelo con unos pocos clics para impulsar sus cargas de trabajo de IA específicas.
Para empezar a utilizar estos modelos, navegue hasta el catálogo de modelos JumpStart de SageMaker en la consola de SageMaker o utilice el SDK de Python de SageMaker para implementar los modelos en su cuenta de AWS. Para obtener más información sobre la implementación y el uso de modelos fundacionales en SageMaker JumpStart, consulte la documentación de Amazon SageMaker JumpStart.