Model langcache-embed-v3-small, Mellum2-12B-A2.5B-Thinking, dan LightOnOCR-2-1B kini tersedia di Amazon SageMaker JumpStart
Model langcache-embed-v3-small dari Redis, Mellum2-12B-A2.5B-Thinking dari JetBrains, dan LightOnOCR-2-1B dari LightOn kini tersedia di Amazon SageMaker JumpStart, memperluas portofolio model fondasi yang dapat diakses oleh pelanggan AWS. Ketiga model ini menghadirkan kemampuan khusus yang mencakup optimasi caching semantik, penalaran yang berfokus pada kode, dan OCR dokumen ujung-ke-ujung, memungkinkan pelanggan untuk menerapkan solusi AI berkinerja tinggi dan skalabel pada infrastruktur AWS.
langcache-embed-v3-small dioptimalkan untuk caching semantik pada aplikasi LLM. Algoritma ini memetakan kalimat dan paragraf ke dalam ruang vektor padat yang dirancang khusus untuk mengidentifikasi kueri yang setara secara semantik tanpa memandang susunan kalimat, memungkinkan pencarian cache cerdas yang mengurangi panggilan LLM yang berlebihan dan mempercepat waktu respons dalam beban kerja inferensi bervolume tinggi.
Mellum2-12B-A2.5B-Thinking unggul dalam pembuatan kode, debugging, penalaran multi-langkah, dan alur kerja coding agentik. Sistem ini menggunakan arsitektur Mixture-of-Experts (64 pakar, 8 diaktifkan per token), hanya mengaktifkan 2,5 miliar dari total 12 miliar parameter per proses maju dengan panjang konteks 131.072 token. Algoritma ini memancarkan jejak penalaran rantai pemikiran yang eksplisit sebelum jawaban akhir, memberikan inferensi throughput tinggi dan latensi rendah yang ideal untuk perutean, RAG, sub-agen, dan deployment privat.
LightOnOCR-2-1B menyediakan konversi dokumen ke teks multibahasa ujung-ke-ujung untuk PDF, hasil pindaian, dan gambar tanpa memerlukan pipeline OCR yang rentan. Model bahasa-visi 1B parameter ini secara langsung mengubah gambar halaman menjadi teks yang bersih dan teratur secara alami, mencapai kinerja terbaik di OlmOCR-Bench sekaligus berukuran ~9 kali lebih kecil dan jauh lebih cepat daripada pendekatan pesaing.
Dengan SageMaker JumpStart, pelanggan dapat men-deploy salah satu model ini hanya dengan beberapa klik untuk mengatasi kasus penggunaan AI spesifik mereka.
Untuk memulai dengan model ini, navigasikan ke katalog model SageMaker JumpStart di konsol SageMaker atau gunakan SageMaker Python SDK untuk men-deploy model ke akun AWS Anda. Untuk informasi selengkapnya tentang men-deploy dan penggunaan model fondasi di SageMaker JumpStart, lihat dokumentasi Amazon SageMaker JumpStart.