Amazon SageMaker, Üretken Yapay Zeka Çıkarımı'nın ölçeklendirilmesini hızlandırmak için yeni özellikler sunuyor
SageMaker Çıkarım'da, üretken yapay zeka modellerinin dağıtımını ve ölçeklendirilmesini önemli ölçüde geliştiren iki yeni özelliği duyurmaktan heyecan duyuyoruz: Container Önbelleğe Alma ve Hızlı Model Yükleyici. Bu yenilikler, büyük dil modellerinin (LLM'ler) verimli bir şekilde ölçeklendirilmesindeki kritik zorlukları ele alarak trafik artışları için daha kısa yanıt süreleri ve daha uygun maliyetli ölçeklendirme sağlar. Model yükleme sürelerini azaltan ve otomatik ölçeklendirmeyi hızlandıran bu özellikler, müşterilerin talep dalgalanmaları karşısında üretken yapay zeka uygulamalarının yanıt verebilirliğini artırmasına olanak tanıyarak özellikle dinamik trafik modellerine sahip hizmetlere fayda sağlıyor.
Container Önbelleğe Alma, container görüntülerini önceden önbelleğe alarak çıkarım için üretken yapay zeka modellerini ölçeklendirmek üzere gereken süreyi önemli ölçüde azaltır. Bu özellik, ölçeklendirme sırasında bunları indirme ihtiyacını ortadan kaldırır ve üretken yapay zeka modeli uç noktaları için ölçeklendirme süresinde önemli bir azalma sağlar. Hızlı Model Yükleyici, model ağırlıklarını doğrudan Amazon S3'ten hızlandırıcıya aktararak modelleri geleneksel yöntemlere kıyasla çok daha hızlı yükler. Bu özellikler, müşterilerin daha duyarlı otomatik ölçeklendirme politikaları oluşturmasına olanak tanıyarak SageMaker'ın tanımlanan eşiklere ulaşıldığında hızlı bir şekilde yeni bulut sunucuları veya model kopyaları eklemesini sağlar. Böylece trafik artışları sırasında optimum performansı korurken aynı zamanda maliyetleri etkili bir şekilde yönetebilirsiniz.
Bu yeni özelliklere Amazon SageMaker Çıkarım'ın kullanılabildiği tüm AWS bölgelerinde erişilebilir. Daha fazla bilgi edinmek üzere ayrıntılı uygulama kılavuzu için belgelerimize bakın.