Amazon ECS kini mendukung penjadwalan GPU fraksional dengan instans Amazon EC2 G6f
Amazon Elastic Container Service (Amazon ECS) kini mendukung penjadwalan GPU fraksional dengan instans Amazon EC2 G6f, yang memungkinkan Anda menjalankan beban kerja pada partisi GPU sekecil seperdelapan dari GPU NVIDIA L4 Tensor Core dengan memori GPU sebesar 3 GB. GPU fraksional memberikan fleksibilitas untuk menyesuaikan ukuran kontainer secara tepat bagi inferensi AI model kecil, eksperimen model, rendering grafis, dan beban kerja lain yang tidak memerlukan GPU penuh, sehingga membantu mengurangi biaya infrastruktur dibandingkan dengan penyediaan instans GPU penuh.
Anda dapat meminta GPU fraksional dengan menetapkan GPU=0,125, GPU=0,25, atau GPU=0,5 dalam definisi kontainer pada definisi tugas Amazon ECS Anda. Amazon ECS kemudian menempatkan tugas tersebut pada instans G6f yang memenuhi permintaan. Konfigurasi GPU fraksional didukung baik pada Instans Terkelola Amazon ECS maupun Amazon ECS pada EC2. Dengan Instans Terkelola ECS, Anda mendapatkan pengalaman yang sepenuhnya terkelola di mana ECS secara otomatis menangani penyediaan instans, penskalaan, patching, dan manajemen siklus hidup, sehingga Anda dapat fokus pada beban kerja GPU Anda daripada operasi infrastruktur. Instans Terkelola ECS juga mencakup kemampuan yang dibangun khusus untuk beban kerja yang dipercepat, seperti metrik GPU melalui Wawasan Kontainer Amazon CloudWatch, dan pemantauan kesehatan otomatis yang mendeteksi kegagalan perangkat keras GPU dan mengganti instans yang tidak sehat untuk meminimalkan gangguan beban kerja.
Kemampuan ini tersedia di semua AWS Region tempat instans Amazon EC2 G6f tersedia. Untuk memulai, gunakan Konsol Manajemen AWS, AWS CLI, AWS SDK, AWS CloudFormation, atau tool infrastruktur sebagai kode lainnya untuk mengkonfigurasi penyedia kapasitas dengan instans G6f dan menentukan nilai GPU fraksional dalam definisi kontainer dari definisi tugas ECS Anda. Untuk mempelajari lebih lanjut, kunjungi dokumentasi GPU fraksional Amazon ECS dan halaman instans Amazon EC2 G6.