Muse Spark Open modeli artık Amazon SageMaker JumpStart'ta
Meta'nın Muse Spark Open modeli artık Amazon SageMaker JumpStart'ta kullanıma sunuldu ve böylece AWS müşterilerinin kullanabileceği temel model portföyü genişledi. Meta'nın kodlama için optimize edilmiş bu açık ağırlık modeli, AWS altyapısında kurumsal yazılım mühendisliğine çok adımlı akıl yürütme ve araç çağrısı getiren etken kodlama iş akışları için özel olarak oluşturulmuştur.
Muse Spark Open, uzun süredir çalışan kodlama temsilcileri ve çok modlu mühendislik iş akışları için tasarlanmıştır. Toplam 816 milyar parametre ve belirteç başına 42 milyar aktif parametreye olan bir Uzmanların Karışımı (MoE) mimarisi üzerine oluşturulan bu sistem, belirteç başına işlemi çok daha küçük yoğun bir modelin seviyesine daha yakın tutarken çok büyük bir ağın kapasitesini sunar. Model, görevleri daha küçük parçalara ayırmadan bağımlılıklar, eski kod ve binlerce dosya dahil olmak üzere tüm bir projeyi almasını sağlayan 1 milyon belirteçli bir bağlam penceresine sahiptir. Girdi olarak metin, resim, belge, ses ve sesli video kabul eder ve metin çıktısı oluşturur. Çok dosyalı yeniden faktörler ve uzun hata ayıklama oturumları gibi gerçek geliştirici iş akışları konusunda eğilmiş bu model, tek araç çağrıları yapmak yerine uzun vadeli planlar yapar, harekete geçer, sonuçları gözlemler ve kendi kendini düzeltir. SageMaker JumpStart iki varyant sunar; BF16 (Muse-Spark-Open-816B-A42B) ve NVFP4 niceli (Muse-Spark-Open-816b-A42b-NVFP4). NVFP4 varyantı uygun maliyetli dağıtım için belleğin yaklaşık dörtte birini gerektirir.
SageMaker JumpStart ile müşteriler kaynak kodu ve istemler üzerinde tam kontrol iiçin Muse Spark Open'ı kendi AWS hesaplarında çalışan uç noktasıyla birlikte bir kaç tıklamada dağıtabilir.
Bu modeli kullanmaya başlamak için SageMaker konsolundaki SageMaker JumpStart model kataloğuna gidin veya modeli AWS hesabınıza dağıtmak için SageMaker Python SDK'sini kullanın. SageMaker JumpStart'ta temel model dağıtma ve kullanma hakkında daha fazla bilgi için Amazon SageMaker JumpStart belgelerine bakın.