NVIDIA Nemotron 3.5 Lightning modeli artık Amazon SageMaker JumpStart'ta kullanılabilir
NVIDIA'nın Nemotron 3.5 Lightning'i artık Amazon SageMaker JumpStart'ta kullanıma sunuldu ve AWS müşterilerine kalıcı temsilci iş yükleri ve hızlı görev yürütme için sınıfındaki en hızlı açık modele erişim sağlıyor.
Nemotron 3.5 Lightning, kişisel asistanlar, finansal belge işleme, siber güvenlik triyajı ve telekomünikasyon işlemleri gibi alanlarda kalıcı temsilciler ve yüksek aktarım hızlı kurumsal otomasyon için tasarlanmıştır. İleri geçiş başına sadece 3 milyar tanesi aktif olan toplam 30 milyar parametre ile hibrit Uzmanlar Karışımı (MoE) mimarisi üzerine inşa edilen bu model, karşılaştırılabilir modellere göre 4 kata kadar aktarım hızı (~410 belirteç/sn) ve %30 daha hızlı görev tamamlama sağlar. Nemotron 3 Ultra'dan damıtılmış, DFlash spekülatif kod çözme yoluyla 1 milyon adede kadar bağlam belirtecini ele alır ve doğrudan popüler temsilci çalışma katmanlarıyla entegre olur. Model açık veri kümeleri üzerinde tamamen açık olarak eğitilmiştir, böylece işletmelerin kendi araçları, iş akışları ve politikaları için sonradan eğitim almalarına ve uç, şirket içi veya bulut altyapısında tam sahiplikle dağıtmalarına olanak tanır.
SageMaker JumpStart ile müşteriler, belirli yapay zeka iş yüklerine güç sağlamak için bu modeli birkaç tıklamayla devreye alabilirler.
Bu modelleri kullanmaya başlamak için SageMaker konsolunda SageMaker JumpStart model kataloğuna gidin veya modelleri AWS hesabınıza dağıtmak için SageMaker Python SDK'sini kullanın. SageMaker JumpStart'ta temel model dağıtma ve kullanma hakkında daha fazla bilgi için Amazon SageMaker JumpStart belgelerine bakın.