AWS Neuron SDK 2.29.0, Beta sürümünden çıkmış NKI ve Nöron Gezgini, yeni bir CPU Simülatörü ve genişletilmiş bir NKI Kitaplığı ile kullanıma sunuldu
Bu sürüm, AWS Neuron SDK 2.29.0, 0.3.0 sürümüyle Nöron Çekirdek Arabirimi'ni (NKI) Beta'dan Stabil'e yükseltir. NKI, geliştiricilere Python tabanlı bir söz dizimi kullanarak AWS Trainium ve AWS Inferentia NeuronCore'larda doğrudan, düşük seviyeli programlama erişimi sağlar. Bu sürüm, tüm NKI API'leri ve ana dil nesneleri için geliştirici tarafından görülebilen kaynak kodunu ortaya çıkaran NKI Standart Kitaplığı'nı ekliyor. Ayrıca geliştiricilerin standart Python hata ayıklama araçlarını kullanarak Trainium donanımı gerektirmeden NKI çekirdeklerini yerel olarak standart CPU üzerinde yazmasına, test etmesine ve hata ayıklamasına olanak tanıyan yeni bir CPU Simülatörü içerir. NKI 0.3.0 ayrıca özel bir üstel talimat, matmul birikim denetimi, Trn3 için DMA öncelik ayarları ve değişken uzunlukta hepsinden herkese kolektifler dahil olmak üzere yeni ISA düzeyinde özellikler ekler.
NKI Kütüphanesi, Conv1D, çok katmanlı bir Transformer belirteç oluşturma mega çekirdeğini, Trainium2 için kaynaşmış iletişim-bilgi işlem temel işlemlerini ve dinamik döşeme işlemlerini kapsayan 7 yeni deneysel çekirdek ile genişliyor. Mevcut çekirdekler de iyileştirmeler alıyor. Dikkat CTE, daha büyük parti boyutlarına ve dizi uzunluklarına ölçeklenir, MLP karışık hassasiyetli niceleme yolları ekler ve MoE TKG, tamamen uzman dinamik bir algoritma sunar.
NxD Inference, çıkarım için metin-model dizi paralelliği ve görme verileri paralelliği dahil olmak üzere Qwen3 VL ve Qwen2 VL için optimizasyonlarla görme dili modeli desteğini geliştirdi. vLLM Nöron Eklentisi 0.5.0 sürümüne güncellendi.
Nöron profil oluşturma ve hata ayıklama araçları paketi Nöron Gezgini de Beta sürümünden Stabil'e geçiyor. Sistem İzleme Görüntüleyicisi artık çoklu cihaz profili analizi için Aygıt widget'larının tamamını destekliyor. Bu araç, kolaylaştırılmış kurulum için VS Code Extension Marketplace'te mevcuttur. Tam sürüm ayrıntıları için AWS Neuron SDK 2.29.0 sürüm notlarına bakın.
Bu SDK, Inferentia ve Trainium bulut sunucularını destekleyen tüm AWS Bölgelerinde kullanılabilir.
Daha Fazla Bilgi Edinin