Amazon SageMaker AI çıkarımı artık G7 bulut sunucularını destekliyor
Amazon SageMaker AI çıkarımı artık NVIDIA RTX PRO 4500 Blackwell Server Edition GPU'larla güçlendirilen G7 bulut sunucularını destekleyerek önceki nesil G6 bulut sunucularına kıyasla 4,6 kata kadar yapay zeka çıkarım performansına sahip makine öğrenimi modellerini dağıtmanıza olanak tanır. Üretim çıkarımı için üretken yapay zeka modelleri dağıtan müşterilerin orta ila büyük modellere uygun maliyette hizmet etmek için yüksek GPU aktarım hızına ve bellek kapasitesine ihtiyacı vardır ancak önceki nesil bulut sunucuları genellikle pahalı bilgi işlemin aşırı kaynak tahsisini veya modelleri kuantize etmeyi gerektirirdi.
G7 bulut sunucuları, 5. Nesil Tensor Çekirdekleri ile GPU başına 32 GB GPU belleği, 700 Gbps'ye kadar EFA özellikli ağ (G6'ya kıyasla 7 kat) ve büyük modelleri bilgi işleme yakın tutmak için 7,6 TB'a kadar yerel NVMe SSD depolama alanı sağlar. Bu özellikler, G7 bulut sunucularını 7B-30B parametre aralığındaki modellere, görüntü ve video oluşturma iş yüklerine ve daha yüksek bellek bant genişliği ve aktarım hızından yararlanan çoklu model çıkarım uç noktalarına hizmet vermek için çok uygun hale getirir. Uç nokta yapılandırmanızda G7 bulut sunucusu türlerini (ml.g7.xlarge ila ml.g7.48xlarge gibi) belirterek SageMaker AI Çıkarımı konsolu, API veya SDK'yi kullanıp modelleri G7 bulut sunucularına dağıtabilirsiniz.
SageMaker AI çıkarımı için G7 bulut sunucuları ABD Doğu (Kuzey Virginia, Ohio) ve ABD Batı (Oregon) bölgelerinde mevcuttur. Bu bulut sunucularıyla ilgili fiyatlandırma bilgileri için lütfen fiyatlandırma sayfamızı ziyaret edin.