Instans Amazon EC2 Trn2 umumnya tersedia
Hari ini, AWS mengumumkan ketersediaan umum instans Trn2 Amazon Elastic Compute Cloud (Amazon EC2) dan pratinjau Trn2 UltraServer, yang didukung oleh chip AWS Trainium2. Tersedia melalui Blok Kapasitas EC2, instans Trn2 dan UltraServer adalah solusi komputasi EC2 paling kuat untuk deep learning dan pelatihan dan inferensi AI generatif.
Anda dapat menggunakan instans Trn2 untuk melatih dan men-deploy model dasar yang paling menuntut termasuk model bahasa besar (LLM), model multi-modal, transformator difusi, dan lainnya untuk membangun serangkaian aplikasi AI yang luas. Untuk mengurangi waktu pelatihan dan memberikan waktu respons terobosan (latensi per-token) untuk model canggih dan paling canggih, Anda mungkin memerlukan lebih banyak komputasi dan memori daripada yang dapat diberikan oleh satu instans. Trn2 UltraServers adalah penawaran EC2 yang benar-benar baru yang menggunakan NeuronLink, kain bandwidth tinggi, latensi rendah, untuk menghubungkan 64 chip Trainium2 di 4 instans Trn2 menjadi satu simpul yang membuka kinerja yang tak tertandingi. Sebagai kesimpulan, UltraServer membantu memberikan waktu respons terdepan di industri untuk menciptakan pengalaman real-time terbaik. Untuk pelatihan, UltraServer meningkatkan kecepatan dan efisiensi pelatihan model dengan komunikasi kolektif yang lebih cepat untuk paralelisme model dibandingkan dengan instans mandiri.
Instans Trn2 menampilkan 16 chip Trainium2 untuk menghasilkan komputasi FP8 hingga 20,8 petaflops, memori bandwidth tinggi 1,5 TB dengan bandwidth memori 46 TB/dtk, dan jaringan EFA 3,2 Tbps. Trn2 UltraServer memiliki 64 chip Trainium2 untuk menghasilkan hingga 83,2 petaflops komputasi FP8, total memori bandwidth tinggi 6 TB dengan total bandwidth memori 185 TB/s, dan jaringan EFA 12,8 Tbps. Keduanya digunakan di EC2 UltraClusters untuk menyediakan kemampuan penskalaan petabit nonpemblokiran untuk pelatihan terdistribusi. Instans Trn2 umumnya tersedia dalam ukuran trn2.48xlarge di AWS Region AS Timur (Ohio) melalui Blok Kapasitas EC2 untuk ML.
Untuk mempelajari lebih lanjut tentang instans Trn2 dan meminta akses ke Trn2 UltraServer, kunjungi halaman instans Trn2.