Amazon EC2 Trn2 bulut sunucuları genel kullanıma sunulmuştur
Bugün AWS, Amazon Elastic Compute Cloud (Amazon EC2) Trn2 bulut sunucularının genel kullanıma sunulduğunu ve AWS Trainium2 yongaları tarafından desteklenen Trn2 UltraServers önizlemesini duyurdu. EC2 Kapasite Blokları aracılığıyla kullanılabilen Trn2 bulut sunucuları ve UltraServers, derin öğrenme ve üretken yapay zekâ eğitimi ve çıkarımı için en güçlü EC2 bilgi işlem çözümleridir.
Çok çeşitli yapay zekâ uygulamaları oluşturmak için büyük dil modelleri (LLM'ler), çok modlu modeller, difüzyon transformatörleri ve daha fazlası dahil olmak üzere en zorlu altyapı modellerini eğitmek ve dağıtmak için Trn2 bulut sunucularını kullanabilirsiniz. Eğitim sürelerini kısaltmak ve en yetenekli, son teknoloji modeller için çığır açan yanıt süreleri (belirteç başına gecikme süresi) sağlamak için tek bir bulut sunucusunun sağlayabileceğinden daha fazla bilgi işlem gücüne ve belleğe ihtiyacınız olabilir. Trn2 UltraServers, 4 Trn2 bulut sunucusundaki 64 Trainium2 yongasını benzersiz performans sağlayan tek bir düğüme bağlamak için yüksek bant genişliğinde, düşük gecikmeli bir yapı olan NeuronLink'i kullanan tamamen yeni bir EC2 teklifidir. Çıkarım açısından UltraServers, en iyi gerçek zamanlı deneyimleri oluşturmak üzere endüstri lideri yanıt süreleri sağlamaya yardımcı olur. Eğitim açısından UltraServers, bağımsız bulut sunucularına kıyasla model paralelliği için daha hızlı toplu iletişim ile model eğitim hızını ve verimliliğini artırır.
Trn2 bulut sunucuları, 20,8 petaflop'a kadar FP8 hesaplama, 46 TB/sn bellek bant genişliği ile 1,5 TB yüksek bant genişliğine sahip bellek ve 3,2 Tb/sn EFA ağ bağlantısı sağlayan 16 Trainium2 yongasına sahiptir. Trn2 UltraServers, 83,2 petaflop'a kadar FP8 hesaplama, 185 TB/sn toplam bellek bant genişliği ile 6 TB toplam yüksek bant genişliği belleği ve 12,8 Tbps EFA ağı sağlamak için 64 Trainium2 yongasına sahiptir. Her ikisi de dağıtılmış eğitim için engellemeyen, petabit ölçeklendirme yetenekleri sağlamak için EC2 UltraClusters'da dağıtılmıştır. Trn2 bulut sunucuları, ML için EC2 Kapasite Blokları aracılığıyla ABD Doğu (Ohio) AWS Bölgesinde genel olarak trn2.48xlarge boyutunda kullanılabilir.
Trn2 bulut sunucuları hakkında daha fazla bilgi edinmek ve Trn2 UltraServer'a erişim istemek için lütfen Trn2 bulut sunucuları sayfasını ziyaret edin.