Amazon SageMaker HyperPod artık üretken yapay zeka görevleri için NVIDIA Çoklu Bulut Sunucusu GPU'sunu (MIG) destekliyor
Amazon SageMaker HyperPod artık NVIDIA Çok Bulut Sunuculu GPU (MIG) teknolojisini destekleyerek yöneticilerin tek bir GPU'yu birden çok izole GPU'ya bölmelerini sağlıyor. Bu özellik, yöneticilerin performans ve görev izolasyonunu korurken GPU bölümlerinde çeşitli, küçük üretken yapay zeka (GenAI) görevlerini aynı anda çalıştırarak kaynak kullanımını en üst düzeye çıkarmasına olanak tanır.
Yöneticiler, tam GPU kapasitesi gerektirmeyen belirli görev gereksinimleri için ayrıntılı, donanım yalıtımlı kaynakları etkinleştirmek için SageMaker HyperPod konsolunda kullanımı kolay yapılandırma kurulumunu veya özel bir kurulum yaklaşımını seçebilir. Ayrıca GPU bölümlerinin ekipler arasında adil ve verimli bir şekilde dağıtılmasını sağlamak için hesaplama kotası tahsis edebilirler. GPU bölümlerinde gerçek zamanlı performans ölçümleri ve kaynak kullanımı izleme panosu ile yöneticiler kaynak tahsisini optimize etmek için görünürlük kazanır. Veri bilimcileri artık hafif çıkarım görevlerini planlayarak ve etkileşimli not defterlerini GPU bölümlerinde paralel olarak çalıştırarak pazara sunma süresini kısaltabilir ve tam GPU kullanılabilirliği için bekleme sürelerini ortadan kaldırabilir.
Bu özellik şu anda aşağıdaki AWS Bölgelerinde EKS düzenleyicisini kullanan Amazon SageMaker HyperPod kümelerinde kullanılabilir: ABD Batı (Oregon), ABD Doğu (Kuzey Virginia), ABD Doğu (Ohio), ABD Batı (K. Kaliforniya), Kanada (Orta), Güney Amerika (Sao Paulo), Avrupa (Stokholm), Avrupa (İspanya), Avrupa (İrlanda), Avrupa (Frankfurt), Avrupa (Londra), Asya Pasifik (Mumbai), Asya Pasifik (Cakarta), Asya Pasifik (Melbourne), Asya Pasifik (Tokyo), Asya Pasifik (Sidney), Asya Pasifik (Seul), Asya Pasifik (Singapur).
Daha fazla bilgi edinmek için SageMaker HyperPod web sayfasını ve SageMaker HyperPod görev yönetişimi belgelerini ziyaret edin.