Amazon SageMaker yapay zeka, P5e ve G6e bulut sunucularının Çıkarım ile kullanılabildiğini duyurdu
Amazon SageMaker'da çıkarım için optimize edilmiş G6e bulut sunucularının (NVIDIA L40S Tensor Core GPU'lar tarafından desteklenir) ve P5e'nin (NVIDIA H200 Tensor Core GPU'lar tarafından desteklenir) genel kullanıma sunulduğunu bildirmekten mutluluk duyuyoruz.
8 NVIDIA H200 GPU ile 1.128 GB yüksek bant genişliğine sahip GPU belleği, 30 TB yerel NVMe SSD depolama, 192 vCPU ve 2 TiB sistem belleği ile ml.p5e.48xlarge bulut sunucuları, 100 milyarın üzerinde parametreli büyük dil modeli, çok modlu altyapı modelleri, sentetik veri oluşturma; soru cevaplama, kod oluşturma, video ve görüntü oluşturma vb. karmaşık üretken yapay zeka gibi yoğun bilgi işlem gerektiren yapay zeka çıkarım iş yüklerinde harika bir performans gösterebilir.
GPU başına 48 GB belleğe sahip 8 NVIDIA L40s Tensor Core GPU ve üçüncü nesil AMD EPYC işlemcilerle ml.g6e bulut sunucuları, ml.g5 bulut sunucularına kıyasla 2,5 kata kadar daha iyi performans sağlayabilir. Müşteriler, görüntü, video ve ses oluşturmak amacıyla 13 milyara kadar parametre içeren büyük dil modelleri (LLM) ve difüzyon modelleri için yapay zeka çıkarımını çalıştırmak üzere ml.g6e bulut sunucularını kullanabilir.
ml.p5e ve ml.g6e bulut sunucuları artık ABD Doğu (Ohio) ve ABD Batı (Oregon) bölgelerinde SageMaker ile kullanılabilir. Başlamak için AWS Hizmet Kotaları aracılığıyla bir limit artışı talep etmeniz yeterlidir. Bu bulut sunucularıyla ilgili fiyatlandırma bilgileri için lütfen fiyatlandırma sayfamızı ziyaret edin. SageMaker ile model dağıtma hakkında daha fazla bilgi için buradaki genel bakış bölümüne ve buradaki belgelere bakın. Bu bulut sunucuları hakkında daha fazla genel bilgi edinmek için lütfen P5e ve G6e ürün sayfalarını ziyaret edin.