Model Gemma-4-31B-it-assistant dan Gemma-4-31B-IT-NVFP4 kini tersedia di Amazon SageMaker JumpStart
Model Gemma-4-31B-it-assistant dari Google DeepMind dan Gemma-4-31B-IT-NVFP4 dari NVIDIA kini tersedia di Amazon SageMaker JumpStart, memperluas portofolio model dasar yang tersedia untuk pelanggan AWS. Kedua model ini menghadirkan arsitektur padat Gemma 4 31B unggulan ke beban kerja perusahaan dalam varian presisi penuh dan terkuantisasi yang dioptimalkan, memungkinkan pelanggan untuk menerapkan solusi AI berkinerja tinggi dan skalabel pada infrastruktur AWS.
Model-model ini mengatasi berbagai tantangan AI korporasi dengan kemampuan khusus:
Gemma-4-31B-it-assistant dirancang untuk penalaran multimodal, pengkodean, dan alur kerja agentik sebagai varian yang disesuaikan untuk asisten dari model padat 31B unggulan Google. Program ini menangani input teks dan gambar (termasuk video sebagai rangkaian bingkai) dan menghasilkan output teks, dengan jendela konteks 256K token dan dukungan untuk lebih dari 140 bahasa. Berperingkat #3 di antara model open source di papan peringkat teks Arena AI—mengungguli model yang ukurannya 20 kali lebih besar—model ini memiliki mekanisme perhatian hibrida yang menggabungkan jendela geser lokal dan perhatian global penuh dengan fungsi bawaan yang menyerukan pembangunan agen otonom.
Gemma-4-31B-IT-NVFP4 menghadirkan kemampuan Gemma 4 31B yang sama dengan penggunaan memori yang jauh lebih hemat. Dengan menggunakan kerangka kerja ModelOpt NVIDIA yang dikuantisasi ke presisi FP4 4-bit, model ini mengurangi penggunaan memori menjadi sekitar 18,5 GB (68% lebih kecil daripada model dasar) dan mencapai inferensi sekitar 2,5 kali lebih cepat sambil mempertahankan 97–99% kualitas model asli. Ideal untuk deployment produksi throughput berkapasitas tinggi dan hemat biaya pada GPU NVIDIA RTX, DGX Spark, dan pusat data.
Dengan SageMaker JumpStart, pelanggan dapat men-deploy salah satu model ini hanya dengan beberapa klik untuk mengatasi kasus penggunaan AI spesifik mereka.
Untuk memulai dengan model ini, navigasikan ke katalog model SageMaker JumpStart di konsol SageMaker atau gunakan SageMaker Python SDK untuk men-deploy model ke akun AWS Anda. Untuk informasi selengkapnya tentang men-deploy dan penggunaan model fondasi di SageMaker JumpStart, lihat dokumentasi Amazon SageMaker JumpStart.