Amazon SageMaker AI, optimize edilmiş üretken yapay zeka çıkarım önerilerinin lansmanını yaptı
Amazon SageMaker AI artık optimum çıkarım performansı sağlamak için manuel optimizasyonu ve karşılaştırmayı ortadan kaldıran yeni çıkarım önerileri özelliğini destekliyor. SageMaker AI, performans ölçümleriyle doğrulanmış, optimum dağıtım yapılandırmaları sunarak üretime giden yolu hızlandırır ve model geliştiricilerinizin altyapıyı yönetmeye değil doğru modeller oluşturmaya odaklanmasını sağlar.
Müşteriler kendi üretken yapay zeka modellerini getirir, beklenen trafik modellerini tanımlar ve bir performans hedefi belirler (maliyet için optimize etme, gecikmeyi en aza indirime veya aktarım hızını en üst düzeye çıkarma gibi). SageMaker AI daha sonra modelin mimarisini analiz eder ve birden çok bulut sunucusu türünde bu hedefe uygun optimizasyonlar uygular ve NVIDIA AIPerf kullanarak her yapılandırmayı gerçek GPU altyapısında karşılaştırır. Müşteriler, birden çok bulut sunucusu türünü değerlendirerek iş yükleri için en yüksek fiyatla performans gösteren seçeneği seçebilirler. Sonuç, ilk belirtece kadar geçen süre, belirteçler arası gecikme süresi, istek gecikme yüzdelikleri, aktarım hızı ve maliyet tahminleri dahil olmak üzere doğrulanmış ölçümlere sahip dağıtıma hazır yapılandırmalardır.
Bu özellik bugünden itibaren yedi AWS Bölgesinde mevcuttur: ABD Doğu (Kuzey Virginia), ABD Batı (Oregon), ABD Doğu (Ohio), Asya Pasifik (Tokyo), Avrupa (İrlanda), Asya Pasifik (Singapur) ve Avrupa (Frankfurt). Daha fazla bilgi edinmek için SageMaker AI belgelerini ziyaret edin.