AWS Neuron 2.31.0 artık NKI 0.5.0 ve UltraServer Operatörü ile kullanılabilir
AWS Neuron 2.31.0 artık kullanıma sunuldu. AWS Neuron 2.31.0, yeni MX FP8 ölçek dtype destekli NKI 0.5.0, endekslenmiş erişim düzenlerinde daha az talimat için bilgi işlem işlemlerinde tansör yönlendirmesi ve sıfır maliyetli tansör düzen dönüşümleri için yeni NkiTensör görünüm API'leri sunar. Bu sürüm ayrıca Amazon EKS için Neuron UltraServer Operatörü'nü herkese açık beta sürümünde tanıtarak, Amazon EKS'deki Trainium UltraServer iş yükleri için UltraServer keşfini, iş yükü tahsisini ve kaynak talebi oluşturmayı otomatikleştirir.
Neuron Derleyici, Trn2 ve Trn3'te varsayılan olarak etkinleştirilen ve gelişmiş performans sağlayan yeniden tasarlanmış bir kod oluşturma arka ucu içerir. Neuron Çalışma Zamanı, karalama defteri sayfa boyutlarını manuel olarak ayarlama ihtiyacını ortadan kaldırarak cihaz yapılandırmasını basitleştiren bitişik paylaşılan karalama defteri desteği ekler. NKI Kütüphanesi, PyTorch referans uygulamalarının yanı sıra MoE eğitim kolektiflerini, deforme edilebilir dikkati, DeepSeek MLA projeksiyonunu ve halka dikkatini kapsayan 14 yeni deneysel çekirdek ekler. Neuron Gezgini, gelişmiş iş yükü hata ayıklama için Sistem İzleme Görüntüleyicisi kaynak kodu bağlantısını ve güncellenmiş varsayılan gruplamayı ekler.
Başlamak için aşağıdaki kaynaklara bakın:
AWS Neuron, Amazon EC2 Trn1, Trn2, Trn3, Inf2 ve Inf1 bulut sunucularının kullanılabildiği tüm AWS Bölgelerinde kullanılabilir. Bölgesel erişilebilirlik hakkında daha fazla bilgi için AWS Bölge Tablosu'na bakın.