SageMaker HyperPod sekarang mendukung Penjadwalan Topologi Sadar tugas LLM
Tata kelola tugas SageMaker HyperPod kini mendukung Penjadwalan Sadar Topologi (TAS), yang memungkinkan ilmuwan data untuk menjadwalkan tugas model bahasa besar (LLM) mereka pada topologi jaringan optimal yang meminimalkan komunikasi jaringan dan meningkatkan efisiensi pelatihan.
Tugas pelatihan dan penyempurnaan LLM yang didistribusikan ke beberapa instansi komputasi yang dipercepat sering kali bertukar data bervolume besar di antara mereka. Beberapa lompatan jaringan antar instans dapat mengakibatkan latensi komunikasi yang lebih tinggi, yang memengaruhi kinerja tugas LLM. Tata kelola tugas SageMaker HyperPod kini memungkinkan ilmuwan data untuk menggunakan informasi topologi jaringan saat menjadwalkan tugas dengan preferensi topologi tertentu. Menggunakan topologi jaringan di HyperPod, tata kelola tugas SageMaker HyperPod secara otomatis menjadwalkan tugas di lokasi yang optimal, mengurangi komunikasi antar instans dan meningkatkan efisiensi pelatihan.
Tata kelola tugas SageMaker HyperPod tersedia di semua AWS Region tempat HyperPod tersedia: AS Barat (California Utara), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Eropa (Frankfurt), Eropa (Irlandia), Eropa (Stockholm).
Untuk mempelajari lebih lanjut, kunjungi halaman web SageMaker HyperPod, dan dokumentasi tata kelola tugas SageMaker HyperPod.