AWS Neuron, NxD Çıkarım özelliğinin genel olarak kullanılabildiğini, yeni özellikleri ve geliştirilmiş araçları duyurdu
AWS bugün, çıkarım, eğitim özellikleri ve geliştirici araçlarıyla ilgili geliştirmeleri içeren Neuron 2.23'ün kullanıma sunulduğunu duyurdu. Bu sürümle NxD Çıkarım kitaplığı (NxDI) genel kullanılabilirlik (GA) bölümüne taşınmış, Bağlam Paralelliği ve ORPO dahil yeni eğitim özellikleri kullanıma sunulmuş ve PyTorch 2.6 ve JAX 0.5.3 desteği eklenmiştir.
Beta sürümündeki NxD Çıkarım kitaplığı artık genel olarak kullanılabilir ve artık çoklu çip çıkarıma ilişkin tüm kullanım senaryolarında önerilir. Önemli geliştirmeler arasında derleme sürelerini kısaltmaya yönelik Kalıcı Önbellek desteği ve optimize edilmiş model yükleme süresi yer alır.
Eğitim iş yüklerinde, NxD Eğitim kitaplığı Llama modelleri için Bağlam Paralelliği desteği (beta) sunar ve böylece 32 bine kadarki dize uzunlukları mümkün hale gelir. Sürüm, DPO tarzı veri kümeleriyle ORPO'yu kullanarak model uyarlaması desteğinin yanı sıra özellikle PyTorch Lightning 2.5, Transformers 4.48 ve NeMo 2.1 başta olmak üzere üçüncü taraf kitaplıklara yönelik olarak yükseltilmiş destek sunar.
Nöron Kernel Arabirimi (NKI) yeni 32 bit tam sayı işlemleri, Trainium2'ye yönelik geliştirilmiş ISA özellikleri ve yeni performans ayarlama API'leri sunar. Neuron Profiler artık Perfetto ile beş kat daha hızlı profil sonucu görüntüleme, zaman çizelgesi tabanlı hata izleme ve geliştirilmiş çok işlemli görselleştirme olanağı sunar.
AWS Neuron SDK, AWS bölgelerinde istek üzerine bulut sunucuları, ayrılmış bulut sunucuları, spot bulut sunucuları veya tasarruf planının bir parçası olarak bulunan Trn1, Trn2 ve Inf2 bulut sunucularında modellerin eğitilmesini ve dağıtılmasını destekler.
Neuron 2.23'deki yeni özelliklerin ve geliştirmelerin tam listesinin yanı sıra Neuron'u kullanmaya başlamak için şuraya bakın: