Amazon SageMaker AI çıkarımı artık gerçek zamanlı uç noktalar için GPU bölümlemeyi destekliyor
Amazon SageMaker AI çıkarımı artık GPU bölümlemeyi destekleyerek, her birine tam bir hızlandırıcı ayırmak yerine tek bir GPU üzerinde birkaç modeli çalıştırmanıza olanak tanır. NVIDIA Multi-Instance GPU (MIG) teknolojisini kullanan SageMaker AI, bir GPU'yu her biri kendi belleğine ve hesaplamaya sahip yedi adede kadar izole bölüme ayırır. İnce ayarlanmış varyantlar, katıştırma modelleri, yeniden anlayıcılar ve sınıflandırıcılar gibi küçük ve orta boyutlu modellere hizmet veren müşteriler daha önce her modele tam bir hızlandırıcı vermek zorundaydı, bu nedenle bir bulut sunucusu, GPU'larından daha fazla modeli barındırmadı ve bu modellerin asla kullanamayacağı GPU kapasitesi için ödeme yapmadı.
GPU bölümleme ile, GPU'ları uç noktanızın arkasındaki nasıl böleceğinizi seçersiniz ve her modeli ona sığacak şekilde boyutlandırılmış bir bölüme yerleştirirsiniz. Birkaç model daha sonra donanım güçlendirilmiş izolasyonla bir hızlandırıcıyı paylaşır, bu nedenle yoğun bir model yanındaki modellerden bellek veya aktarım hızı alamaz. Hızlandırıcıyı bir iş yüküne göre doğru boyutlandırmak, aksi takdirde tek bir modelin ihtiyaç duyduğundan daha fazla kapasiteye sahip olacak yeni bulut sunucusu nesillerini de açar. Çıkarım bileşenlerini barındıran bir uç nokta oluşturduğunuzda GPU bölümlemesini yapılandırırsınız ve uygulama kodunuzun değişmemesi için her modeli ada göre çağırmaya devam edersiniz.
GPU bölümleme, ABD Doğu (Kuzey Virginia), ABD Doğu (Ohio), ABD Batı (Oregon), Asya Pasifik (Singapur), Asya Pasifik (Tokyo), Avrupa (Frankfurt) ve Avrupa'da (İrlanda) P4d, P5, G7 ve G7e bulut sunucularında kullanılabilir. Daha fazla bilgi edinmek için Amazon SageMaker AI dağıtım sayfasını ziyaret edin ve Amazon SageMaker Yapay Zeka Geliştirici Kılavuzu'na bakın.