Mengapa memilih UltraServers Amazon EC2?
UltraServers Amazon Elastic Compute Cloud (Amazon EC2) ideal untuk pelanggan yang mencari pelatihan AI dan performa inferensi terbaik untuk model pada skala triliunan parameter. UltraServers menghubungkan beberapa instans EC2 menggunakan interkoneksi akselerator khusus dengan bandwidth tinggi dan latensi rendah yang memungkinkan Anda memanfaatkan jaringan akselerator yang dipasangkan secara erat di seluruh instans EC2, dan mengakses komputasi dan memori yang jauh lebih banyak daripada instans EC2 mandiri.
UltraServers EC2 ideal untuk model terbesar yang membutuhkan lebih banyak memori dan bandwidth memori daripada yang dapat disediakan oleh instans EC2 mandiri. Desain UltraServer menggunakan konektivitas akselerator intra-instans untuk menghubungkan beberapa instans ke dalam satu simpul, yang membuka kemampuan baru. Kesimpulannya, UltraServers membantu memberikan waktu respons terdepan di industri untuk menciptakan pengalaman waktu nyata terbaik. Untuk pelatihan, UltraServers meningkatkan kecepatan dan efisiensi pelatihan model dengan komunikasi kolektif yang lebih cepat untuk paralelisme model dibandingkan dengan instans mandiri. UltraServers EC2 mendukung jaringan EFA dan ketika digunakan di UltraClusters EC2 memungkinkan pelatihan terdistribusi dengan penambahan skala di puluhan ribu akselerator pada jaringan berskala petabit tunggal dan non-pemblokiran. Dengan memberikan performa yang lebih tinggi untuk pelatihan dan inferensi, UltraServers mempercepat waktu Anda menuju pasar dan membantu Anda menghadirkan aplikasi waktu nyata yang didukung oleh model fondasi generasi berikutnya dengan performa paling tinggi.
Manfaat
Fitur
Instans didukung
Instans Trn2
Didukung oleh chip AWS Trainium2, instans Trn2 dalam konfigurasi Trn2 UltraServer (tersedia dalam pratinjau) memungkinkan Anda menskalakan hingga 64 chip Trainium2 yang terhubung dengan NeuronLink, interkoneksi dengan bandwidth tinggi dan latensi rendah khusus untuk chip AI AWS. UltraServers Trn2 memberikan performa terobosan di Amazon EC2 untuk pelatihan dan inferensi AI generatif.