Amazon EC2 UltraServer
Pelatihan dan inferensi AI dalam skala besar
Mengapa memilih UltraServers Amazon EC2?
UltraServers Amazon Elastic Compute Cloud (Amazon EC2) ideal untuk pelanggan yang mencari pelatihan AI dan performa inferensi terbaik untuk model pada skala triliunan parameter. UltraServers menghubungkan beberapa instans EC2 menggunakan interkoneksi akselerator khusus dengan bandwidth tinggi dan latensi rendah yang memungkinkan Anda memanfaatkan jaringan akselerator yang dipasangkan secara erat di seluruh instans EC2, dan mengakses komputasi dan memori yang jauh lebih banyak daripada instans EC2 mandiri.
UltraServers EC2 ideal untuk model terbesar yang membutuhkan lebih banyak memori dan bandwidth memori daripada yang dapat disediakan oleh instans EC2 mandiri. Desain UltraServer menggunakan konektivitas akselerator intra-instans untuk menghubungkan beberapa instans ke dalam satu simpul, yang membuka kemampuan baru. Kesimpulannya, UltraServers membantu memberikan waktu respons terdepan di industri untuk menciptakan pengalaman waktu nyata terbaik. Untuk pelatihan, UltraServers meningkatkan kecepatan dan efisiensi pelatihan model dengan komunikasi kolektif yang lebih cepat untuk paralelisme model dibandingkan dengan instans mandiri. UltraServers EC2 mendukung jaringan EFA dan ketika digunakan di UltraClusters EC2 memungkinkan pelatihan terdistribusi dengan penambahan skala di puluhan ribu akselerator pada jaringan berskala petabit tunggal dan non-pemblokiran. Dengan memberikan performa yang lebih tinggi untuk pelatihan dan inferensi, UltraServers mempercepat waktu Anda menuju pasar dan membantu Anda menghadirkan aplikasi waktu nyata yang didukung oleh model fondasi generasi berikutnya dengan performa paling tinggi.
Keuntungan
Latih dan deploy model pada triliun+ skala parameter
UltraServers memungkinkan pelatihan dan inferensi model yang efisien dengan ratusan miliar hingga triliunan parameter dengan menghubungkan serangkaian akselerator yang lebih besar dengan interkoneksi bandwidth tinggi dan, latensi rendah untuk menghasilkan lebih banyak komputasi dan memori daripada instans EC2 mandiri.
Kurangi latensi inferensi untuk aplikasi waktu nyata
UltraServers memungkinkan inferensi waktu nyata untuk model ultra-besar yang membutuhkan memori dan sumber daya bandwidth memori yang substansial di luar yang dapat ditawarkan oleh satu instans EC2.
Kurangi waktu untuk melatih dengan memperluas paralelisme model ke lebih banyak akselerator
UltraServers memungkinkan komunikasi kolektif yang lebih cepat untuk paralelisme model dibandingkan dengan instans mandiri, yang membantu Anda mengurangi waktu untuk melatih.
Fitur
Interkoneksi akselerator khusus, bandwidth tinggi, dan latensi rendah
Anda dapat meluncurkan instans ke UltraServer dan memanfaatkan interkoneksi akselerator khusus, bandwidth tinggi, dan latensi rendah di seluruh instans ini. UltraServers memungkinkan akses ke sejumlah besar akselerator yang terhubung dengan interkoneksi khusus ini, memberikan komputasi dan memori yang jauh lebih banyak dalam satu simpul daripada instans EC2 mandiri.
Jaringan performa tinggi
UltraServers EC2 yang di-deploy di UltraClusters EC2 saling terhubung dengan jaringan EFA berskala petabit untuk meningkatkan performa beban kerja pelatihan terdistribusi.
Penyimpanan performa tinggi
Anda dapat menggunakan UltraServers EC2 bersama dengan solusi penyimpanan beperforma tinggi, seperti Amazon FSx for Lustre, penyimpanan bersama yang dikelola sepenuhnya yang dibangun di atas sistem file paralel beperforma tinggi paling yang populer. Anda juga dapat menggunakan penyimpanan hemat biaya yang hampir tak terbatas dengan Amazon Simple Storage Service (Amazon S3).
Dibangun di Nitro System
UltraServers EC2 dibangun di AWS Nitro System, yaitu kumpulan komponen dasar yang kaya, yang mengalihkan beban berbagai fungsi virtualisasi konvensional ke perangkat keras dan perangkat lunak khusus. Nitro memberikan performa tinggi, ketersediaan tinggi, dan keamanan tinggi sehingga mengurangi overhead virtualisasi.
Instans didukung
Instans Trn2
Didukung oleh chip AWS Trainium2, instans Trn2 dalam konfigurasi Trn2 UltraServer (tersedia dalam pratinjau) memungkinkan Anda menskalakan hingga 64 chip Trainium2 yang terhubung dengan NeuronLink, interkoneksi dengan bandwidth tinggi dan latensi rendah khusus untuk chip AI AWS. UltraServers Trn2 memberikan performa terobosan di Amazon EC2 untuk pelatihan dan inferensi AI generatif.
Instans P6e-GB200
Didukung oleh NVIDIA GB200 NVL72, instans P6e-GB200 dalam konfigurasi UltraServer memungkinkan Anda mengakses hingga 72 GPU Blackwell dalam satu domain NVLink untuk memanfaatkan 360 petaflop komputasi FP8 (tanpa sparsity), 13,4 TB total memori bandwidth tinggi (HBM3e), dan hingga 28,8 terabit per detik jaringan Elastic Fabric Adapter (EFAv4). Instans P6e-GB200 hanya tersedia dalam UltraServer dengan jumlah GPU mulai dari 8 hingga 72 GPU.
Apakah Anda sudah menemukan yang Anda cari?
Beri tahu kami agar kami dapat meningkatkan kualitas konten di halaman kami