AWS Neuron, Trainium2 ve NxD Çıkarım için destek sunuyor
AWS bugün, trn2.48xlarge bulut sunucusu türü ve Trn2 UltraServer dahil olmak üzere AWS Trainium2 çipleri ve Amazon EC2 Trn2 bulut sunucuları için destek sunan Neuron 2.21 sürümünü duyurdu. Bu sürüm ayrıca PyTorch 2.5 için destek ekler ve NxD Çıkarım ve Neuron Profiler 2.0'ı (beta) sunar. NxD Çıkarım, vLLM ile entegre yeni bir PyTorch tabanlı kütüphanedir, büyük dil ve çok modaliteli modellerin dağıtımını basitleştirir ve minimum kod değişikliği ile PyTorch modelinin devreye alınmasını sağlar. Neuron Profiler 2.0 (beta) ise dağıtılmış iş yükleri için destek de dahil olmak üzere yetenekleri ve kullanılabilirliği artıran yeni bir profil oluşturucudur.
Neuron 2.21 ayrıca tek bir trn2.48xlarge bulut sunucusunda NxD Çıkarım'ı kullanarak Llama 3.1 405B model çıkarım desteğini de sunar. Sürüm, Derin Öğrenme Container'larını (DLC'ler) ve Derin Öğrenme AMI'lerini (DLAMI'ler) güncellemekte ve Llama 3.2, Llama 3.3 ve Uzmanların Karışımı (MoE) modelleri dahil olmak üzere çeşitli model mimarileri için destek eklemektedir. Yeni çıkarım özellikleri arasında FP8 ağırlık niceleme ve Transformers NeuronX'te (TNx) spekülatif kod çözme için flaş kod çözme yer alır. Ayrıca, Trn2 bulut sunucularında HuggingFace Llama 3/3.1 70B desteği ve eğitim sonrası model uyarlaması için DPO desteği gibi yeni eğitim örnekleri ve özellikleri eklenmiştir.
AWS Neuron SDK, AWS bölgelerinde istek üzerine bulut sunucuları, ayrılmış bulut sunucuları, spot bulut sunucuları veya tasarruf planının bir parçası olarak bulunan Trn1, Trn2 ve Inf2 bulut sunucularında modellerin eğitilmesini ve dağıtılmasını destekler.
Neuron 2.21'deki yeni özelliklerin ve geliştirmelerin tam listesinin yanı sıra Neuron'u kullanmaya başlamak için şuraya bakın: