Amazon EC2 UltraServers

Geniş ölçekte yapay zeka eğitimi ve çıkarım

Neden Amazon EC2 UltraServer'lar?

Amazon Elastic Compute Cloud (Amazon EC2) UltraServer'lar, modeller için trilyon parametre ölçeğinde en yüksek yapay zeka eğitimi ve çıkarım performansını elde etmek isteyen müşteriler için idealdir. UltraServer'lar, yüksek bant genişliğine sahip, düşük gecikme süreli özel bir hızlandırıcı ara bağlantısı kullanarak birden fazla EC2 bulut sunucusunu birbirine bağlar. Böylece EC2 bulut sunucuları genelinde birbirine sıkıca bağlanmış bir hızlandırıcı ağından yararlanmanızı ve bağımsız EC2 bulut sunucularına kıyasla önemli ölçüde daha fazla işlem ve belleğe erişmenizi sağlar.

EC2 UltraServer'lar, bağımsız EC2 bulut sunucularının sağlayabileceğinden daha fazla bellek ve daha yüksek bellek bant genişliği gerektiren en büyük modeller için idealdir. UltraServer tasarımı, birden fazla bulut sunucusunu tek bir düğüme bağlamak için bulut içi hızlandırıcı bağlantısını kullanarak yeni özelliklerin kilidini açar. Çıkarım açısından UltraServer'lar, en iyi gerçek zamanlı deneyimleri oluşturmak üzere sektör lideri yanıt süreleri sağlamaya yardımcı olur. Eğitim açısından UltraServer'lar, bağımsız bulut sunucularına kıyasla model paralelliği için daha hızlı toplu iletişim ile model eğitim hızını ve verimliliğini artırır. EC2 UltraServer'lar, EFA ağ iletişimi destekler ve EC2 UltraCluster'larda dağıtıldıklarında tek petabit ölçekli, engelleyici olmayan bir ağda on binlerce hızlandırıcı genelinde ölçeği genişletilebilir dağıtılmış eğitim sağlar. UltraServer'lar hem eğitim hem de çıkarım için daha yüksek performans sunarak pazara ulaşma sürenizi kısaltır, en yüksek performanslı, yeni nesil altyapı modelleriyle desteklenen gerçek zamanlı uygulamalar sunmanıza yardımcı olur.

Avantajlar

Özellikler

Desteklenen bulut sunucuları

Trn2 bulut sunucuları

AWS Trainium2 yongalarıyla desteklenen bir Trn2 UltraServer yapılandırmasındaki Trn2 bulut sunucuları (önizlemede kullanılabilir), ölçek büyüterek AWS yapay zeka yongalarına yönelik özel yüksek bant genişliğine sahip, düşük gecikme süreli ara bağlantı olan NeuronLink ile birbirine bağlanan 64'e kadar Trainium2 yongasını kullanmanızı sağlar. Trn2 UltraServer'lar, üretken yapay zeka eğitimi ve çıkarımı için Amazon EC2'de çığır açan performans sağlar.

Daha fazla bilgi edinin