AWS Neuron 2.32, Trn2 ve Trn için genişletilmiş NKI programlama, MXFP8 eğitim çekirdekleri ve değişken boyutlu kolektifler sunar
AWS Neuron 2.32.0, cihaz üzerinde bir Top-K talimatı, sıralamaları farklı boyutlarda tensörlere sahip çekirdekler için bir “hepsi topla” değişken uzunluğu ve veriye bağlı yineleme için yeni döngü yapıları içeren NKI 0.6.0 kullanıma sunuldu.
Bu sürüm ayrıca Uzmanların Karışımı (MoE) eğitimi ve seyrek dikkat için 13 yeni NKI Kütüphanesi çekirdeği ve dönüştürücü modellerini vLLM Neuron eklentisine taşıyan yeni bir Neuron Etken Geliştirme özelliği sunar. NKI Kitaplığı çekirdekleri, DeepSeek-V3.2 seyrek çok başlı gizli dikkat için bağlam kodlamasını, kod çözme adımı için MXFP8 dikkatini ve MXFP8'de uçtan uca blok bakımından MoE katmanlarını eğitmenize izin veren eşleşen MXFP8 ileri ve geri geçişi, 22 ek çekirdek için PyTorch referans uygulamalarıyla beraber kapsar.
Neuron Çalışma Zamanı, Trn2 ve Trn3'e hepsini topla, dağıtımı azalt ve hepsinden hepsine kolektifler değişken boyutları ekliyor. Bu seviyelerin her birinin katkıda bulunmasına veya farklı sayıda öğe almasına olanak tanır. vLLM Neuron eklentisi vLLM 0.24.0'a geçiyor ve tüm Neuron Derin Öğrenme AMI'leri ve Derin Öğrenme Container'larına dahil ediliyor. Neuron Derleyici, 64 bit tam sayı derlemesi üzerinde açık kontrol ekler ve Neuron Gezgini, Sistem İzleme Görüntüleyicisi'ne çekirdek başına ana sunucu CPU kullanımını ekler.
AWS Neuron, Amazon EC2 Trn1, Trn2, Trn3, Inf2 ve Inf1 bulut sunucularının kullanılabildiği tüm AWS Bölgelerinde kullanılabilir. Bölgesel erişilebilirlik hakkında daha fazla bilgi için AWS Bölge Tablosu'na bakın.
Başlamak için aşağıdaki kaynaklara bakın: