AWS Neuron 2.24'e yönelik yeni özellikler arasında PyTorch 2.7 ve çıkarım geliştirmeleri de vardır
AWS bugün, Neuron 2.24'ün genel kullanıma sunulduğunu duyurdu. Bu çözüm, AWS Inferentia ve Trainium tabanlı bulut sunucularında derin öğrenme modelleri oluşturup dağıtan müşteriler için yeni özellikler ve performans iyileştirmeleri sunar. Neuron 2.24; PyTorch 2.7 için destek, geliştirilmiş çıkarım özellikleri ve popüler makine öğrenimi çerçeveleriyle genişletilmiş uyumluluk sunar. Bu güncellemeler, geliştiricilerin ve veri bilimcilerinin model eğitimini ve çıkarımını hızlandırmasına, verimliliği artırmasına ve büyük dil modelleri ile diğer yapay zeka iş yüklerinin dağıtımını basitleştirmesine yardımcı olur.
Neuron 2.24 ile müşteriler, İlk Belirtece Kadar Geçen Sürenin (TTFT) daha kısa olması için ön ekleri önbelleğe alma, önceden doldurma-kod çözme girişimini azaltmak için ayrıştırılmış çıkarım ve uzun dizilerde daha iyi performans için bağlam paralelliği gibi geliştirilmiş çıkarım özelliklerinden yararlanabilir. Sürüm ayrıca Qwen 2.5 metin modelleri için destek sunar ve Hugging Face Optimum Neuron ve PyTorch tabanlı NxD Core arka uç ile geliştirilmiş entegrasyon sağlar.
Neuron 2.24; Inferentia ve Trainium bulut sunucularının sunulduğu tüm AWS Bölgelerinde kullanılabilir.
Daha fazla bilgi edinmek ve yeni özellikler ve geliştirmelerin tam listesini görmek için şu sayfaya bakın: