Amazon SageMaker AI artık EAGLE spekülatif kod çözmeyi destekliyor
Amazon SageMaker AI artık büyük dil modeli çıkarım aktarım hızını 2,5 kata kadar artırmak için EAGLE (Daha Büyük Dil Modeli Verimliliği İçin Çıkarım Algoritması) spekülatif kod çözmeyi destekliyor. Bu özellik, modellerin aynı anda birden çok belirteci teker teker değil aynı anda tahmin etmesine ve doğrulamasına olanak tanıyarak yapay zeka uygulamaları için yanıt sürelerini iyileştirir.
Müşteriler yapay zeka uygulamalarını üretime dağıtırken, duyarlı kullanıcı deneyimleri için özelliklerin düşük gecikmeli ve yüksek aktarım hızlı modellere hizmet etmesine ihtiyaç duyarlar. Veri bilimcileri ve makine öğrenimi mühendisleri, çıktı kalitesinden ödün vermeden veya karmaşık model yeniden mimarisi gerektirmeden belirteç üretimini hızlandırmak için verimli yöntemlerden yoksundur, bu da gerçek dünya trafiğinde performans beklentilerini karşılamayı zorlaştırır. Ekipler yapay zeka uygulamalarını geliştirmek yerine altyapıyı optimize etmek için önemli ölçüde zaman harcar. EAGLE spekülatif kod çözmeyle SageMaker AI müşterilerin çıkarım aktarım hızlarını modellerinin birden fazla belirteci aynı zamanda oluşturup doğrulamasına izin vererek artırmalarına izin verir. Böylece aynı çıktı kalitesini korurken önemli ölçüde aktarım hızını artırmış olurlar. SageMaker AI, model mimarinize göre otomatik olarak EAGLE 2 ve EAGLE 3 arasında seçim yapar ve özel tahmin başlarını eğitmek için seçilmiş veri kümelerini veya kendi uygulama verilerinizi kullanan yerleşik optimizasyon işleri sağlar. Ardından, altyapı değişiklikleri olmadan mevcut SageMaker AI çıkarım iş akışınız aracılığıyla optimize edilmiş modelleri dağıtabilirsiniz. Bu, daha hızlı ve öngörülebilir performanslı yapay zeka uygulamaları sunmanıza olanak tanır.
EAGLE spekülatif kod çözme işlemini aşağıdaki AWS Bölgelerinde kullanabilirsiniz: ABD Doğu (Kuzey Virginia), ABD Batı (Oregon), ABD Doğu (Ohio), Asya Pasifik (Tokyo), Avrupa (İrlanda), Asya Pasifik (Singapur) ve Avrupa (Frankfurt)
EAGLE spekülatif kod çözme hakkında daha fazla bilgi edinmek için buradan AWS Haber Blogu'nu ve buradan SageMaker AI belgelerini ziyaret edin.