Daha hızlı, daha düşük maliyetli üretken yapay zeka eğitimi için Amazon EC2 Trn3 UltraServers'ı duyuruyoruz
AWS, yeni nesil temsilci, akıl yürütme ve video oluşturma uygulamaları için en iyi belirteç ekonomisini sunmak üzere özel olarak tasarlanmış ilk 3nm AWS AI yongamız olan dördüncü nesil AI yongamız Trainium3 tarafından desteklenen Amazon Elastic Compute Cloud (Amazon EC2) Trn3 UltraServers'ın genel kullanıma sunulduğunu duyurdu.
Her AWS Trainium3 yongası 2,52 petaflop (PFLOPS) FP8 işlem sağlar, Trainium2'nin bellek kapasitesinin 1.5 ve bant genişliğinin 1.7 katına çıkan Trainium3 yongaları, 144 GB HBM3e belleğe ve 4.9 TB/s bellek bant genişliğine sahiptir. Trainium3, gelişmiş veri türlerine (MXFP8 ve MXFP4) sahip yoğun ve uzman paralel iş yükleri için oluşturulmuştur ve gerçek zamanlı, çok modlu ve akıl yönetme görevlerinin bellek-işlem dengesini iyileştirir.
Trn3 UltraServers'ın ölçeği, 144 Trainium3 yongasına kadar artırılabilir (toplam 362 FP8 PFLOP) ve yüz binlerce çipe ölçeklendirmek için EC2 UltraClusters 3.0'da mevcuttur. Tamamen yapılandırılmış bir Trn3 UltraServer 20,7 TB'ye kadar HBM3e ve 706 TB/s kadar toplam bellek bant genişliği sağlar. Yeni nesil Trn3 UltraServer, Trn2 UltraServer'ın ara bağlantı bant genişliğini ikiye katlayan tümden tüme bir yapı olan NeuronSwitch-v1'e sahiptir.
Trn3, Trn2 UltraServers'a kıyasla 4.4 kata kadar daha yüksek performans, 3,9 kat daha yüksek bellek bant genişliği ve 4 kat daha iyi performans/watt sunarak güçlendirici öğrenme, Uzmanların Karışımı (MoE), akıl yürütme ve uzun bağlamlı mimariler dahil olmak üzere eğitim ve öncü ölçekli modellere hizmet vermek için en iyi fiyat-performansı sağlar. Amazon Bedrock'ta Trainium3 en hızlı hızlandırıcımızdır ve benzer kullanıcı başına gecikmesiyle megawatt başına 5 kat daha yüksek belirteç çıktısı ve Trainium2'den 3 kata kadar daha hızlı performans sunar.
Yeni Trn3 UltraServers, yapay zeka araştırmacıları için geliştirilmiş ve AWS Neuron SDK tarafından desteklenir ve olağanüstü bir performans sağlar. Yerel PyTorch entegrasyonu ile geliştiriciler, model kodunun tek bir satırını bile değiştirmeden eğitebilir ve dağıtabilir. Yapay zeka performans mühendislerine ise performansa ince ayar yapabilmeleri, çekirdekleri özelleştirebilmeleri ve modelleri daha da ileriye taşıyabilmeleri için Trainium3'e daha derin erişim sağladık. Yenilik açıklıkta geliştiği için, geliştiricilerimizle açık kaynaklı araçlar ve kaynaklar aracılığıyla etkileşim kurmaya kararlıyız.