NVIDIA Nemotron 3 Nano kini tersedia di Amazon Bedrock.
Amazon Bedrock kini mendukung model NVIDIA Nemotron 3 Nano 30B A3B, terobosan terbaru NVIDIA dalam pemodelan bahasa yang efisien yang menghadirkan kinerja penalaran tinggi, dukungan pemanggilan alat asli, dan pemrosesan konteks yang diperluas dengan jendela konteks 256k token. Model ini menggunakan arsitektur Mixture-of-Experts (MoE) hibrida yang efisien untuk memastikan throughput yang lebih tinggi daripada pendahulunya untuk beban kerja agen dan pengkodean, sambil mempertahankan kedalaman penalaran dari model yang lebih besar. Dengan kontrol penalaran eksplisit dan akurasi yang lebih tinggi yang dimungkinkan oleh teknik pembelajaran penguatan tingkat lanjut dan pelatihan pasca-multi-lingkungan dalam skala besar, model ini ideal untuk perusahaan, perusahaan rintisan, dan pengembang individu yang membangun alur kerja multi-agen, alat produktivitas pengembang, otomatisasi proses, dan untuk analisis penalaran ilmiah dan matematika, di antara lainnya.
NVIDIA Nemotron 3 Nano di Amazon Bedrock didukung oleh Project Mantle, mesin inferensi terdistribusi baru untuk penyajian model machine learning skala besar di Amazon Bedrock. Project Mantle menyederhanakan dan mempercepat proses pengintegrasian model baru ke Amazon Bedrock, menyediakan inferensi nirserver yang berkinerja tinggi dan andal dengan kontrol kualitas layanan yang canggih, membuka kuota pelanggan default yang lebih tinggi dengan manajemen kapasitas otomatis dan kumpulan terpadu, serta menyediakan kompatibilitas langsung dengan spesifikasi API OpenAI.
NVIDIA Nemotron 3 Nano tersedia hari ini di Amazon Bedrock di AWS Region AS Timur (Virginia Utara), AS Timur (Ohio), AS Barat (Oregon), Asia Pasifik (Tokyo), Asia Pasifik (Mumbai), Amerika Selatan (Sao Paulo), Eropa (London), dan Eropa (Milan), dan mendukung titik akhir layanan yang kompatibel dengan API terpadu dan OpenAI di Amazon Bedrock. Untuk mempelajari lebih lanjut dan memulai, kunjungi konsol Amazon Bedrock atau dokumentasi layanan di sini. Untuk memulai menggunakan titik akhir layanan yang kompatibel dengan API Amazon Bedrock OpenAI, kunjungi dokumentasi di sini.