Model NVIDIA Nemotron 3.5 Lightning kini tersedia di Amazon SageMaker JumpStart
Nemotron 3.5 Lightning dari NVIDIA kini tersedia di Amazon SageMaker JumpStart, memberikan pelanggan AWS akses ke model terbuka tercepat di kelasnya untuk beban kerja agen persisten dan eksekusi tugas yang cepat.
Nemotron 3.5 Lightning dirancang untuk agen persisten dan otomatisasi perusahaan throughput tinggi di berbagai bidang, termasuk asisten pribadi, pemrosesan dokumen keuangan, triase keamanan siber, dan operasi telekomunikasi. Dibangun di atas arsitektur Mixture-of-Experts (MoE) hibrida dengan total 30 miliar parameter dan hanya 3 miliar yang aktif per proses maju, sistem ini mencapai throughput hingga 4 kali lipat (~410 token/detik) dan penyelesaian tugas 30% lebih cepat dibandingkan model sejenis. Dikembangkan dari Nemotron 3 Ultra, ia menangani hingga 1 juta token konteks melalui dekode spekulatif DFlash dan terintegrasi langsung dengan harness agen populer. Model ini sepenuhnya dilatih secara terbuka menggunakan set data terbuka, sehingga memungkinkan perusahaan untuk melakukan pelatihan lanjutan untuk alat, alur kerja, dan kebijakan mereka sendiri, serta menerapkannya dengan kepemilikan penuh di seluruh edge, on-premise, atau infrastruktur cloud.
Dengan SageMaker JumpStart, pelanggan dapat menerapkan model ini hanya dengan beberapa klik untuk mendukung beban kerja AI spesifik mereka.
Untuk memulai dengan model ini, navigasikan ke katalog model SageMaker JumpStart di konsol SageMaker atau gunakan SageMaker Python SDK untuk men-deploy model ke akun AWS Anda. Untuk informasi selengkapnya tentang men-deploy dan penggunaan model fondasi di SageMaker JumpStart, lihat dokumentasi Amazon SageMaker JumpStart.