Amazon ECS kini mendukung berbagi GPU dengan NVIDIA Multi-Process Service (MPS)
Amazon Elastic Container Service (Amazon ECS) kini mendukung berbagi GPU dengan NVIDIA Multi-Process Service (MPS), memungkinkan Anda menjalankan beberapa tugas Amazon ECS secara bersamaan pada satu GPU NVIDIA. Fitur berbagi GPU membantu Anda meningkatkan pemanfaatan GPU dan mengurangi biaya infrastruktur untuk beban kerja yang hanya menggunakan sebagian kapasitas GPU, seperti inferensi model kecil, simulasi AV/ADAS, pembuatan sematan, dan penyajian multi-model.
Dengan berbagi GPU, Anda dapat memuat lebih banyak beban kerja ke setiap instans GPU tanpa mengubah kode aplikasi Anda. Anda menentukan memori GPU yang dibutuhkan setiap kontainer dan secara opsional dapat menetapkan bagian maksimum komputasi GPU, dan Amazon ECS akan menempatkan tugas pada GPU dengan kapasitas yang tersedia saat layanan Anda diskalakan dan diterapkan. Berbagi GPU didukung pada Amazon ECS Managed Instances dan Amazon ECS di Amazon EC2. Pada Amazon ECS Managed Instances, Amazon ECS juga memantau daemon kontrol MPS yang memungkinkan berbagi pada setiap instans. Jika daemon berhenti atau mengalami masalah, Amazon ECS secara otomatis mengganti instans dan memindahkan tugas Anda ke kapasitas yang sehat, sehingga beban kerja GPU Anda tetap berjalan tanpa intervensi manual.
Untuk memulai, gunakan Konsol Manajemen AWS, AWS CLI, AWS SDK, AWS CloudFormation, atau tool infrastruktur sebagai kode lainnya untuk membuat penyedia kapasitas dengan instans GPU NVIDIA, mengatur strategi berbagi GPU dan memori dalam definisi kontainer dari definisi tugas Anda, dan membuat layanan pada penyedia kapasitas tersebut. Kemampuan ini tersedia di semua Region AWS komersial dan AWS GovCloud (AS). Untuk mempelajari lebih lanjut, kunjungi dokumentasi berbagi GPU Amazon ECS.