Amazon SageMaker HyperPod artık Spot Bulut Sunucularını Destekliyor
Amazon SageMaker HyperPod artık Spot Bulut Sunucularını destekleyerek müşterilerin HyperPod'daki istek üzerine bulut sunucularına kıyasla GPU işlem maliyetlerini %90'a kadar azaltmalarını sağlıyor. Yapay zeka iş yükleri ölçeklendikçe altyapı maliyetlerini optimize etmek giderek daha kritik hale geliyor. SageMaker HyperPod'un Spot entegrasyonu, müşterilerin HyperPod'da keyif alarak kullandıkları yönetilen yapay zeka deneyimini sunarken, müşterilerin yedek EC2 kapasitesinden önemli indirimlerle otomatik olarak yararlanmalarına izin vererek bu sorunu giderir.
Kuruluşlar, Spot Bulut Sunucuları ile hataya dayanıklı iş yüklerini uygun ölçekte uygun maliyetli bir şekilde çalıştırabilir. Maliyet optimizasyonunu garantili kullanılabilirlik ile dengelemek için Spot'u isteğe bağlı bulut sunucularıyla birleştirebilirsiniz. Bu özellik HyperPod EKS kümelerinde mevcuttur ve akıllı otomatik ölçeklendirme için Karpenter ile entegre olur, kullanılabilir Spot kapasitesini otomatik olarak keşfeder ve bulut sunucusu kesintilerini yönetir.
CreateCluster API veya AWS Konsolu aracılığıyla bulut sunucusu grupları oluştururken Spot Bulut Sunucularını etkinleştirebilirsiniz. Bu özellik, CPU'lar ve GPU'lar dahil olmak üzere HyperPod'da bulunan tüm bulut sunucusu türlerini destekler. Kapasite kullanılabilirliği, EC2'den gelen tedarike bağlıdır ve bölgeye ve bulut sunucusu türüne göre değişir. Spot bulut sunucusu desteği, SageMaker HyperPod'un şu anda kullanılabildiği tüm bölgelerde kullanılabilir. Daha fazla bilgi edinmek için, lütfen belgelere bakın.