Ölçeklenebilir LLM çıkarımı için Amazon SageMaker HyperPod Çıkarım Ağ Geçidi kullanın
Amazon SageMaker HyperPod Ağ Geçidi, var olan SageMaker HyperPod altyapısında uygulama değişikliği gerekmeden tek bir EKS yönetilen eklentisi olarak dağıtılan Kubernetes tabanlı ve GPU duyarlı bir yönlendirme sistemidir. Akıllı olmayan gidiş-dönüş yük dengelemeyi gerçek zamanlı çıkarım sinyal odaklı yönlendirme ile değiştirerek, karma donanım ve seri trafik senaryolarında ilk belirteç gecikmesini %82, p99 TTFT'yi %97-98 oranında azaltır.
Ağ Geçidi 3 temel bileşen üzerine oluşturulmuştur. Envoy Uç Noktası, HTTPS trafiğini sonlandırır ve küme başına tek bir özel uç nokta gösterir. Gövde Tabanlı Yönlendirici, gelen her istekten model adını doğrudan okur ve doğru GPU havuzuna yönlendirir. Böylece bir ağ geçidinin istemci tarafında değişiklik gerektirmeden tek bir uç nokta URL'sinden birçok modele hizmet vermesini sağlar. Uç Nokta Seçici, her model sunucu pod'unu 6 çıkarım düzeyinde sinyal üzerinden gerçek zamanlı olarak puanlar (KV önbellek kullanımı, kuyruk derinliği, LoRA adaptörünün yerleşimi, ön ek önbellek eşleşme oranı, tahmin edilen gecikme süresi ve çalışan istekler) ve her bir istek için en uygun pod'u seçer.
Ağ geçidi, uygulama kodu değişikliği gerekmeden vLLM ve SGLang dahil olmak üzere herhangi bir OpenAI uyumlu model sunucusu ile çalışır.
Küme başına yönlendirme, bugün SageMaker HyperPod çıkarım eklentisinin desteklendiği tüm AWS Bölgelerinde kullanılabilir. Çok yakında: merkezi bir filo ağ geçidi, küresel hız sınırlaması ve maliyet katmanlarına duyarlı trafik şekillendirme ile kümeler arası ve bölgeler arası yönlendirme.
Daha fazla bilgi edinmek için başlatma blogunu okuyun ve belgeleri inceleyin.