Amazon SageMaker için Üretken Yapay Zeka Çıkarım Önerisi artık SageMaker AI Stüdyosu'nda kullanılabilir
Amazon SageMaker AI artık SageMaker AI Stüdyosu'nda Üretken Yapay Zeka Çıkarım Önerileri sunarak müşterilere iş yükleri için en iyi çıkarım yapılandırmasını bulmaları için rehberli, düşük kodlu ve kodsuz yollar sunuyor. Bu, Nisan 2026'da gerçekleştirilen API tabanlı lansmanı temel alır ve aynı kıyaslama altyapısını programlı erişim yerine görsel bir iş akışını tercih eden ekiplere genişletir.
Üretimde üretken yapay zeka modellerini dağıtmak, bulut sunucusu türü, hizmet container'ı ve optimizasyon stratejisinin doğru bir kombinasyonunu bulmayı gerektirir. Bunu doğru yapmak genellikle haftalarca manuel kıyaslama, yapılandırma ayarlama ve deneme yanılma içerir ve son kurulumun gerçekten en uygun kurulum olup olmadığını bilmenin kolay bir yolu yoktur. Yeni deneyimle müşteriler kendileri için en önemli olan şeyi tanımlar (gecikme süresi, aktarım hızı veya maliyet gibi) ve SageMaker AI bundan sonrasını kendisi halleder. NVIDIA AIPerf kullanarak birden fazla yapılandırmayı gerçek bir GPU altyapısında kıyaslar, gecikmeyi azaltmak için aktarım hızı veya çekirdek ayarı için spekülatif kod çözme gibi göreve odaklı teknikler kullanır ve ölçülmüş performans verisiyle birlikte sıralı, üretime hazır öneriler döndürür. Ekipler, hangi tekniklerin uygulanacağına veya nasıl yapılandırılacağına karar vermeden haftalar yerine saatler içinde doğrulanmış bir yapılandırmaya ulaşır.
Yeni deneyimle müşteriler kendileri için en önemli olan şeyi tanımlar (gecikme süresi, aktarım hızı veya maliyet gibi) ve SageMaker AI bundan sonrasını kendisi halleder. NVIDIA AIPerf kullanarak birden fazla yapılandırmayı gerçek bir GPU altyapısında kıyaslar, gecikmeyi azaltmak için aktarım hızı veya çekirdek ayarı için spekülatif kod çözme gibi göreve odaklı teknikler kullanır ve ölçülmüş performans verisiyle birlikte sıralı, üretime hazır öneriler döndürür. Ekipler, hangi tekniklerin uygulanacağına veya nasıl yapılandırılacağına karar vermeden haftalar yerine saatler içinde doğrulanmış bir yapılandırmaya ulaşır.
SageMaker AI Stüdyosu'nda İşler, Çıkarım optimizasyonu altında müşteriler bir kullanım durumu profili (Etkileşim Kur, Oluştur, Özet veya Özel) seçer, bir optimizasyon hedefi seçer (gecikmeyi en aza indir, aktarım hızını en üst düzeye çıkar veya maliyeti en aza indir) ve modellerini JumpStart, S3, Model Kayıt Defteri veya mevcut bir SageMaker modeli arasından seçer. Öneriler belirteçler arası gecikme süresi (TTFT), aktarım hızı ve maliyete göre sıralanır ve doğrudan Stüdyo'dan bir SageMaker gerçek zamanlı uç noktasına dağıtılmadan önce görsel olarak karşılaştırılabilir.
Öneri oluşturmanın ek bir maliyeti yoktur. Kıyaslama sırasında sağlanan optimizasyon işleri ve uç noktalar için standart işlem maliyetleri geçerlidir. Bu özellik ABD Doğu (Kuzey Virginia), ABD Batı (Oregon), ABD Doğu (Ohio), Avrupa (İrlanda), Avrupa (Frankfurt), Asya Pasifik (Singapur), Asya Pasifik (Tokyo) bölgelerinde kullanılabilir. Daha fazla bilgi edinmek için blog gönderisini veya belgeleri ziyaret edin.