Amazon SageMaker HyperPod artık ayrılmış ön doldurma ve kod çözmeyi destekliyor
Amazon SageMaker HyperPod artık büyük dil modeli (LLM) çıkarımının iki aşamasını (ön doldurma ve kod çözme) özel GPU havuzlarına ayıran ve anahtar değeri (KV) önbelleğini GPU-Direct RDMA kullanarak Esnek Yapı Bağdaştırıcısı (EFA) üzerinden aralarında aktaran bir çıkarım optimizasyonu olan Ayrıştırılmış Ön Doldurma ve Kod Çözme (DPD) özelliğini destekliyor. Sohbet asistanları, temsilci destekli işlem hatları, almayla artırılmış oluşturma ve uzun belge analizi için üretimde LLM'ler çalıştıran müşteriler, karma trafik altında tutarlı belirteç başına gecikmeye ve öngörülebilir aktarım hızına ihtiyaç duyarlar, ancak ön doldurma ve kod çözme aynı GPU'yu paylaştığında, tek bir uzun bağlamlı istek her eş zamanlı istek için belirteç oluşturmayı durdurabilir ve müşterileri diğer aşamayı için bir aşamayı aşırı tedarik etmeye zorlayabilir.
DPD ile müşteriler bazı GPU'larda işleme bağlı ön doldurma çalıştırırken diğerlerinde bellek bant genişliğine bağlı kod çözme işlemini çalıştırır, böylece iki aşama artık aynı kaynak için rekabet etmez. Bu, sürekli eş zamanlılık altında belirteç başına daha tutarlı gecikme süresi, katı gecikme SLO'larında daha yüksek iyi aktarım hızı ve iş yükünün giriş ve çıkış dağılımına uyacak şekilde ön doldurma ve kod çözme kapasitesini bağımsız olarak ölçeklendirme özelliği sağlar. Akıllı bir yönlendirici, otomatik olarak uzun bağlamlı istekleri ayrılmış yola yönlendirir ve kısa istemleri doğrudan kod çözücüye gönderir, böylece müşteriler kısa istemlerde transfer yükü ödemeden ihtiyaç duyan trafiklerin bu özellkten yararlanmalarını sağlamış olurlar. Müşteriler, HyperPod Çıkarım Operatörü'ndeki çıkarım uç noktaları için kullandıkları aynı `InferenceEndpointConfig` özel kaynağına bir `pdSpec` bölümü ekleyerek DPD'yi etkinleştirebilir ve DPD, HyperPod'daki mevcut KV önbellek boşaltma ve akıllı yönlendirme özellikleriyle birleştirilebilir.
DPD, Amazon SageMaker HyperPod'un kullanılabildiği tüm AWS Bölgelerindeki EFA özellikli bulut sunucusu türlerinde EKS düzenleyicisini kullanan SageMaker HyperPod kümeleri tarafından kullanılabilir. Daha fazla bilgi edinmek için Amazon SageMaker AI Geliştirici Kılavuzu'ndaki HyperPod çıkarımı için Ayrılmış Ön Doldurma ve Kod Çözme bölümüne bakın.