O modelo NVIDIA Nemotron 3.5 Lightning já está disponível no Amazon SageMaker JumpStart
O Nemotron 3.5 Lightning da NVIDIA já está disponível no Amazon SageMaker JumpStart, oferecendo aos clientes da AWS acesso ao modelo aberto mais rápido de sua categoria para workloads persistentes de agentes e execução rápida de tarefas.
O Nemotron 3.5 Lightning foi projetado para agentes persistentes e automação corporativa de throughput alto rendimento em vários domínios, incluindo assistentes pessoais, processamento de documentos financeiros, triagem de segurança cibernética e operações de telecomunicações. Construído em uma arquitetura híbrida de mistura de especialistas (MoE) com 30 B de parâmetros totais e apenas 3 B ativos por passagem direta, ele atinge até 4 vezes o throughput (~ 410 tokens/seg) e a conclusão de tarefas 30% mais rápida em relação a modelos comparáveis. Destilado do Nemotron 3 Ultra, ele manipula até 1 milhão de tokens de contexto por meio da decodificação especulativa DFlash e se integra diretamente a harness de agentes populares. O modelo é totalmente treinado de forma aberta em conjuntos de dados abertos, permitindo que as empresas façam pós-treinamento para suas próprias ferramentas, fluxos de trabalho e políticas e implementem com total propriedade na infraestrutura periférica, local ou na nuvem.
Com o SageMaker JumpStart, os clientes podem implantar esse modelo com apenas alguns cliques para potencializar suas workloads específicas de IA.
Para começar a usar esses modelos, navegue até o catálogo de modelos do SageMaker JumpStart no SageMaker Studio ou use o SageMaker Python SDK para implantá-los na sua conta da AWS. Para obter mais informações sobre a implantação e o uso de modelos de base no SageMaker JumpStart, consulte a documentação do Amazon SageMaker JumpStart.