Gemma-4-31B-IT-Assistant ve GEMMA-4-31B-IT-NVFP4 modelleri Amazon SageMaker JumpStart'ta kullanıma sunuldu
Google DeepMind'in GEMMA-4-31B-IT-Assistant ve NVIDIA'nın GEMMA-4-31B-IT-NVFP4 modelleri artık Amazon SageMaker JumpStart'ta mevcut ve AWS müşterilerinin kullanabileceği temel model portföyünü genişletiyor. Bu iki model, amiral gemisi Gemma 4 31B yoğun mimarisini kurumsal iş yüklerine hem tam hassasiyetli hem de optimize edilmiş nicelleştirilmiş varyantlarda getiriyor ve müşterilerin AWS altyapısında yüksek performanslı, ölçeklenebilir yapay zeka çözümlerini dağıtmasına olanak sağlıyor.
Bu modeller, farklı kurumsal yapay zeka zorluklarını özel özelliklerle ele alır:
Gemma-4-31B-it-assistant, Google’ın amiral gemisi 31B yoğun modelinin asistan ayarlı varyantı olarak çok modlu akıl yürütme, kodlama ve etken iş akışları için tasarlanmıştır. Metin ve görüntü girişlerini (kare dizileri olarak video dahil) işler ve 256K belirteçli bağlam penceresi ve 140'tan fazla dil desteği ile metin çıktısı üretir. Arena AI metin liderlik tablosundaki açık kaynaklı modeller arasında 3. sırada yer alan ve boyutunun 20 katı olan modelleri geride bırakarak, yerel kaydırma penceresini birbirine geçiren hibrit bir dikkat mekanizmasına ve özerk temsilciler oluşturmaya çağıran yerel işlevle tüm dikkati birbirine bağlayan hibrit bir dikkat mekanizmasına sahiptir.
Gemma-4-31B-IT-NVFP4, aynı Gemma 4 31B yeteneklerini bellek alanının çok küçük bir kısmında sunar. NVIDIA'nın ModelOpt çerçevesi ile 4 bit FP4 hassasiyetine kadar nicelendirilerek bellek kullanımını ~18,5 GB'a (temel modelden %68 daha küçük) düşürür ve orijinal modelin kalitesinin %97-99'unu korurken yaklaşık 2,5 kat daha hızlı çıkarım elde eder. NVIDIA RTX, DGX Spark ve veri merkezi GPU'larında uygun maliyetli, yüksek aktarım hızına sahip üretim dağıtımları için idealdir.
Müşteriler, SageMaker JumpStart ile belirli yapay zeka kullanım ihtiyaçları için bu modellerden herhangi birini yalnızca birkaç tıklamayla devreye alabilirler.
Bu modelleri kullanmaya başlamak için SageMaker konsolunda SageMaker JumpStart model kataloğuna gidin veya modelleri AWS hesabınıza dağıtmak için SageMaker Python SDK'sini kullanın. SageMaker JumpStart'ta temel model dağıtma ve kullanma hakkında daha fazla bilgi için Amazon SageMaker JumpStart belgelerine bakın.