Amazon SageMaker HyperPod artık Karpenter kullanarak otomatik ölçeklemeyi destekliyor
Amazon SageMaker HyperPod artık Karpenter kullanarak yönetilen düğüm otomatik ölçeklendirmeyi destekliyor ve müşterilerin dinamik çıkarım ve eğitim taleplerini karşılamak için kümelerini otomatik olarak ölçeklendirmelerine olanak tanıyor. Gerçek zamanlı çıkarım iş yükleri, öngörülemeyen trafik modellerini ele almak, hizmet seviyesi sözleşmelerini sürdürmek ve aynı zamanda maliyetleri optimize etmek için otomatik ölçeklendirme gerektirir. Bununla birlikte, kuruluşlar genellikle karmaşık otomatik ölçekleme çözümlerini kurma, yapılandırma ve sürdürme gibi operasyonel yükler ile mücadele eder. HyperPod tarafından yönetilen düğüm otomatik ölçeklendirme, Karpenter kurulum ve bakımının ayrım gözetmeyen ağır yükünü ortadan kaldırırken, entegre esneklik ve hata toleransı özellikleri sağlar.
Karpenter ile HyperPod'da otomatik ölçeklendirme, müşterilerin GPU hesaplamasını çıkarım trafiği ani artışlarına hızla uyarlayan tam zamanında tedarik sağlar. Müşteriler, özel denetleyici altyapısını sürdürmeden düşük talep dönemlerinde sıfır düğüme ölçeklendirebilir ve bulut sunucusu türleri ile maliyetlerini optimize eden iş yüküne duyarlı düğüm seçiminden yararlanabilir. Çıkarım iş yüklerinde bu durum, üretim trafiğindeki ani artışları yönetmek için otomatik kapasite ölçeklendirme, boşta kalma dönemlerinde akıllı düğüm konsolidasyonu yoluyla maliyet azaltma ve KEDA gibi olay odaklı pod otomatik ölçekleyicilerle sorunsuz entegrasyon sağlar. Eğitim iş yükleri de model geliştirme döngüleri sırasında otomatik kaynak optimizasyonundan yararlanır. AutoScaling modunu "Etkinleştir" olarak ve AutoScalerType'ı "Karpenter" olarak ayarlayarak UpdateCluster API'si üzerinden HyperPod'da otomatik ölçeklendirmeyi etkinleştirebilirsiniz.
Bu özellik, Amazon SageMaker HyperPod EKS kümelerinin desteklendiği tüm AWS bölgelerinde kullanılabilir. Karpenter ile SageMaker HyperPod'da otomatik ölçeklendirme hakkında daha fazla bilgi edinmek için kullanıcı kılavuzuna ve blogabakın.