Amazon SageMaker yeni bir üretici yapay zeka çıkarım optimizasyonu özelliğini kullanıma sunuyor
Bugün Amazon SageMaker; Llama 3, Mistral ve Mixtral modelleri gibi üretici yapay zeka modelleri için maliyetleri yaklaşık %50'ye kadar düşürürken yaklaşık 2 kata kadar daha yüksek aktarım hızı sunan yeni bir çıkarım özelliğinin genel kullanıma sunulduğunu duyurdu. Örneğin bir Llama 3-70B modeliyle, herhangi bir optimizasyon yapmadan xml.p5.48xlarge bulut sunucusunda önceki ~1200 belirteç/sn yerine ~2400 belirteç/sn elde edebilirsiniz.
Bu yeni özellikle müşteriler kurgusal kod çözme, niceleme ve derleme gibi en yeni model optimizasyonu tekniklerinden oluşan bir menüden seçim yapabilir ve bunları üretici yapay zeka modellerine uygulayabilir. SageMaker, derin öğrenme çerçeveleri ve kitaplıklarla birlikte optimizasyon tarifini çalıştırmak için gereken donanımın sağlanması yükünü üstlenecektir. Müşteriler, çeşitli popüler açık kaynak modelleri için uygun ölçekte performans açısından test edilmiş SageMaker'dan kurgusal kod çözme çözümüyle ilgili kullanıma hazır destekten yararlanır veya kendi kurgusal kod çözme çözümlerini sunabilir. SageMaker, niceleme için farklı model mimarilerinde hassas türlere yönelik uyumluluk ve destek sağlar. Derlemede, SageMaker'ın çalışma zamanı altyapısı, otomatik ölçeklendirme süresini azaltmak için optimize edilmiş modellerin verimli şekilde yüklenip önbelleğe alınmasını sağlar.
Müşteriler Python İçin AWS SDK (Boto3), SageMaker Python SDK veya AWS Komut Satırı Arabirimi'nde (AWS CLI) bu yeni özellikten yararlanabilir. Bu özellik ABD Doğu (Kuzey Virginia), ABD Doğu (Ohio), ABD Batı (Oregon), Asya Pasifik (Mumbai), Asya Pasifik (Singapur), Asya Pasifik (Sidney), Asya Pasifik (Tokyo), Kanada (Orta), Avrupa (Frankfurt), Avrupa (İrlanda), Avrupa (Londra), Avrupa (Paris), Avrupa (Stokholm) ve Güney Amerika (Sao Paulo) bölgelerinde genel kullanıma sunuldu.
Belgeler sayfamıza ve AWS ML blog gönderimize giderek daha fazla bilgi edinin.