Amazon SageMaker HyperPod artık G7e ve r5d.16xlarge bulut sunucularını destekliyor
Amazon SageMaker HyperPod artık G7e ve r5d.16xlarge bulut sunucularını destekliyor. SageMaker HyperPod, temel modelleri büyük ölçekte geliştirmek, eğitmek ve dağıtmak için özel olarak tasarlanmış bir altyapıdır. Yerleşik hata toleransı, otomatik küme kurtarma ve optimize edilmiş dağıtılmış eğitim kütüphaneleri sayesinde dayanıklı ve yüksek performanslı bir ortam sunar, büyük ölçekli yapay zeka/makine öğrenimi altyapısını yönetmenin rutin operasyonel yükünü azaltır.
G7e bulut sunucuları, NVIDIA RTX PRO 6000 Blackwell Server Edition GPU'lar ile güçlendirilmiştir ve G6e bulut sunucularına kıyasla 2,3 kata kadar daha yüksek çıkarım performansı sunarak saniye başına daha fazla isteği daha düşük gecikmeyle işlemenizi sağlar. Toplam 768 GB'a kadar GPU belleği sunan G7e bulut sunucuları, daha büyük dil modellerini dağıtmanıza veya tek bir uç noktada birden fazla model çalıştırmanıza olanak tanır. Bu bulut sunucularını LLM'leri, etken yapay zeka, çok modlu üretken yapay zeka ve fiziksel yapay zeka modellerini dağıtmak için kullanabilirsiniz. G7e bulut sunucuları, G6e'ye kıyasla 1,27 kata kadar daha yüksek TFLOP ve 4 kata kadar GPU'lar arası bant genişliği sunarak NLP, bilgisayarlı görü ve daha küçük üretken yapay zeka modellerinin uygun maliyetli tek düğümde ince ayarı veya eğitimi için de uygundur. Buna ek olarak HyperPod artık r5d.16xlarge bulut sunucusunu da destekliyor. r5d.16xlarge bulut sunucusu, 64 vCPU, 512 GB bellek ve 5 x 600 GB NVMe SSD bulut sunucusu depolaması sunar ve 3,1 GHz'e kadar sürekli tüm çekirdek turbo frekansına sahip Intel Xeon Platinum 8000 serisi işlemcilerle desteklenir. Bu bulut sunucusu, özellikle Ray gibi çerçevelerle dağıtılmış eğitim verisi ön işleme, büyük ölçekli özellik mühendisliği ve GPU hesaplamanın yanında bellek yoğun düzenleme hizmetlerini çalıştırmak için uygundur.
G7e bulut sunucuları ABD Doğu (Kuzey Virginia), ABD Doğu (Ohio), Asya Pasifik (Tokyo) ve ABD Batı (Oregon) bölgelerinde, r5d.16xlarge ise Amazon SageMaker HyperPod'un mevcut olduğu tüm bölgelerde kullanılabilir.