Amazon SageMaker HyperPod sekarang mendukung NVIDIA Multi-Instance GPU (MIG) untuk tugas AI generatif
Amazon SageMaker HyperPod sekarang mendukung teknologi NVIDIA Multi-Instance GPU (MIG), memungkinkan administrator mempartisi satu GPU menjadi beberapa GPU terisolasi. Kemampuan ini memungkinkan administrator untuk memaksimalkan pemanfaatan sumber daya dengan menjalankan beragam tugas AI generatif kecil (GenAI) secara bersamaan pada partisi GPU sambil mempertahankan kinerja dan isolasi tugas.
Administrator dapat memilih pengaturan konfigurasi yang mudah digunakan di konsol SageMaker HyperPod atau pendekatan pengaturan khusus untuk mengaktifkan sumber daya yang terisolasi dari perangkat keras yang halus untuk persyaratan tugas tertentu yang tidak memerlukan kapasitas GPU penuh. Mereka juga dapat mengalokasikan kuota komputasi untuk memastikan distribusi partisi GPU yang adil dan efisien di seluruh tim. Dengan metrik kinerja real-time dan dasbor monitoring pemanfaatan sumber daya di seluruh partisi GPU, administrator mendapatkan visibilitas untuk mengoptimalkan alokasi sumber daya. Ilmuwan data sekarang dapat mempercepat waktu ke pasar dengan menjadwalkan tugas inferensi ringan dan menjalankan notebook interaktif secara paralel pada partisi GPU, menghilangkan waktu tunggu untuk ketersediaan GPU penuh.
Kemampuan ini saat ini tersedia untuk klaster Amazon SageMaker HyperPod menggunakan orkestrator EKS di AWS Region berikut: AS Barat (Oregon), AS Timur (N.Virginia), AS Timur (Ohio), AS Barat (California Utara), Kanada (Pusat), Amerika Selatan (Sao Paulo), Eropa (Stockholm), Eropa (Spanyol), Eropa (Irlandia), Eropa (Frankfurt), Eropa (London), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Melbourne), Asia Pasifik (Tokyo), Asia Pasifik (Sydney), Asia Pasifik (Seoul), Asia Pasifik (Singapura).
Untuk mempelajari lebih lanjut, kunjungi halaman web SageMaker HyperPod, dan dokumentasi tata kelola tugas SageMaker HyperPod.