AWS Neuron, Neuron Kernel Interface (NKI), NxD Training ve eğitim için JAX desteği sunuyor
AWS bugün, AWS Trainium ve Inferentia için bir programlama arabirimi olan ve geliştiricilerin yeni işlevler, optimizasyonlar ve bilimsel yenilikler için optimize edilmiş işlem çekirdekleri oluşturmasına olanak tanıyan Neuron Kernel Interface'i (NKI) (beta) kullanan Neuron 2.20 sürümünü duyurdu. Bununla birlikte bu sürümde, NeMo ile uyumlu kullanıcı dostu bir arabirime sahip, verimli dağıtılmış eğitim sağlayan PyTorch tabanlı bir kitaplık olan NxD Training (beta) tanıtılmaktadır. Ayrıca, bu sürüm JAX çerçevesi (beta) için destek sunmaktadır.
AWS Neuron, üretici yapay zeka için özel olarak oluşturulmuş AWS Inferentia ve Trainium tabanlı bulut sunucularına yönelik bir SDK'dir. Neuron, PyTorch gibi popüler makine öğrenimi çerçeveleri ile entegre edilir. Trn1 ve Inf2 bulut sunucularında yapay zeka modellerinin yüksek performanslı eğitimini ve çıkarımını desteklemek için bir derleyici, çalışma zamanı, araçlar ve kitaplıklar içerir.
Bu sürümde, model eğitimi ve çıkarımı için destek özellikleri ve performans iyileştirmeleri de sunulmaktadır. Eğitim için bu sürüm, yerel PyTorch karmaşık hassasiyet desteği ve PEFT LoRA teknikleri için torch.autocast() ile birlikte 32K dizi uzunluğuna kadar Llama 3.1 8B ve 70B model desteği ekler. Neuron 2.20, çıkarım için Llama 3.1 (405b, 70b, 8b) ve Pixart-alpha ve Pixart-sigma gibi Difüzyon-Dönüştürücü (DiT) modelleri için destek ekler. Ayrıca, bu sürüm cihaz üzerinde üst-p örnekleme ile çıkarım desteği ve Flash Kod Çözme ile 128K bağlam uzunluğu da sunmaktadır. Bu sürüm ayrıca Rocky 9.0 işletim sistemi desteği ve Neuron Derleyicisi'nde RMSNorm ve RMSNormDx operatörleri desteği sunmaktadır.
Daha fazla bilgi için Neuron Sürüm Notlarına bakın.