SageMaker HyperPod kini mendukung berbagi sumber daya menganggur untuk pemanfaatan klaster dinamis
Tata kelola tugas Amazon SageMaker HyperPod kini mendukung berbagi sumber daya dinamis, memungkinkan tim meminjam kapasitas komputasi yang tidak teralokasi di klaster HyperPod di luar kuota jaminan mereka. Administrator juga dapat mengonfigurasi batas pinjaman untuk jenis sumber daya tertentu, seperti akselerator, vCPU, atau memori, untuk memastikan distribusi yang adil di seluruh tim.
Administrator yang menjalankan klaster komputasi bersama untuk beban kerja AI generatif sering menghadapi tantangan kurangnya pemanfaatan sumber daya. Ketika ilmuwan data tidak sepenuhnya menggunakan kuota yang dialokasikan, instans komputasi mahal tetap menganggur. Fitur berbagi sumber daya yang menganggur mengatasi hal ini dengan secara otomatis mengidentifikasi kapasitas klaster yang belum dialokasikan dan membuatnya tersedia bagi tim untuk dipinjam berdasarkan upaya terbaik. Tata kelola tugas HyperPod memantau status klaster Anda dan secara otomatis menghitung ulang sumber daya yang dapat dipinjam saat instans dan kebijakan kuota komputasi berubah, menghilangkan konfigurasi manual. Instans yang memenuhi syarat dan berada dalam keadaan siap dan dapat dijadwalkan, termasuk instans dengan konfigurasi GPU yang dipartisi, berkontribusi pada kumpulan kapasitas komputasi yang belum dialokasikan yang dapat dipinjam. Administrator juga dapat menentukan batas pinjaman absolut selain batas pinjaman berbasis persentase dari komputasi diam. Hal ini membantu administrator memaksimalkan pemanfaatan komputasi dan mempertahankan kontrol yang lebih detail atas bagaimana kapasitas yang menganggur didistribusikan di antara tim, sekaligus memastikan isolasi kuota komputasi yang terjamin untuk setiap tim.
Kemampuan ini saat ini tersedia untuk klaster Amazon SageMaker HyperPod menggunakan orkestrator EKS di AWS Region berikut: AS Timur (Virginia Utara), AS Timur (Ohio), AS Barat (California Utara), AS Barat (Oregon), Asia Pasifik (Mumbai), Asia Pasifik (Singapura), Asia Pasifik (Sydney), dan Asia Pasifik (Tokyo), Asia Pasifik (Jakarta), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Stockholm), Eropa (Spanyol), dan Amerika Selatan (Sao Paulo).
Untuk mempelajari selengkapnya, kunjungi halaman web SageMaker HyperPod, dan dokumentasi tata kelola tugas HyperPod.