langcache-embed-v3-small, Mellum2-12B-A2.5B-Thinking ve LightOnOCR-2-1B modelleri artık Amazon SageMaker JumpStart'ta kullanılabilir
Artık Amazon SageMaker Jumpstart'ta kullanılabilen Redis'in langcache-embed-v3-small, JetBrains'in Mellum2-12B-A2.5B-Thinking ve LightOn'un LightOnOCR-2-1B modelleri, AWS müşterilerinin kullanabileceği temel model portföyünü genişletir. Bu üç model, anlamsal önbelleğe alma optimizasyonu, kod odaklı akıl yürütme ve uçtan uca belge OCR'si alanlarında uzmanlaşmış yetenekler getirerek müşterilerin AWS altyapısında yüksek performanslı ve ölçeklenebilir yapay zeka çözümlerini dağıtmasına olanak tanır.
langcache-embed-v3-small, LLM uygulamalarında anlamsal önbelleğe alma için optimize edilmiştir. Cümle ve paragrafları kullanımdan bağımsız olarak anlamsal bakımdan eşdeğer sorguları tanımlamak için yoğun bir vektör alanına işleyerek, gereksiz LLM çağrılarını azaltan ve yüksek hacimli çıkarım iş yüklerinde yanıt sürelerini hızlandıran akıllı önbellek eşleşmelerine olanak tanır.
Mellum2-12B-A2.5B-Thinking, kod oluşturma, hata ayıklama, çok adımlı akıl yürütme ve temsilci destekli kodlama iş akışlarında mükemmeldir. Bir Uzmanların Karışımı mimarisi (64 uzman, belirteç başına 8 tanesi aktif) kullanır ve 131.072 belirteç bağlam uzunluğuyla ileri geçiş başına toplam 12B parametresinin yalnızca 2.5B'sini etkinleştirir. Son cevaplardan önce açık düşünce zinciri akıl yürütme izleri yayar ve yönlendirme, RAG, alt temsilciler ve özel dağıtımlar için ideal olan yüksek aktarım hızlı, düşük gecikmeli çıkarım sağlar.
LightONOCR-2-1b, hassas OCR işlem hatları olmadan PDF'ler, taramalar ve görüntüler için uçtan uca çok dilli belgeyi metne dönüştürme sağlar. Bu 1B-parametreli görme dili modeli, sayfa görüntülerini doğrudan temiz, doğal olarak düzenlenmiş metinlere dönüştürür ve OlmOCR-Bench'te son teknoloji performans elde ederken, rakip yaklaşımlardan yaklaşık 9 kat daha küçük ve önemli ölçüde daha hızlıdır.
Müşteriler, SageMaker JumpStart ile belirli yapay zeka kullanım ihtiyaçları için bu modellerden herhangi birini yalnızca birkaç tıklamayla devreye alabilirler.
Bu modelleri kullanmaya başlamak için SageMaker konsolunda SageMaker JumpStart model kataloğuna gidin veya modelleri AWS hesabınıza dağıtmak için SageMaker Python SDK'sini kullanın. SageMaker JumpStart'ta temel model dağıtma ve kullanma hakkında daha fazla bilgi için Amazon SageMaker JumpStart belgelerine bakın.