Amazon Bedrock Gelişmiş İstem Optimizasyonu artık istem kısaltmayı destekliyor
Amazon Bedrock Gelişmiş İstem Optimizasyonu artık değerlendirme puanlarınızı korurken veya iyileştirirken isteminizin uzunluğunu kısaltan isteğe bağlı bir ayar olan istem kısaltmayı destekliyor. Gelişmiş İstem Optimizasyonu, Amazon Bedrock'taki herhangi bir model için istemleri değerlendirme kriterlerinize göre optimize eder. Şimdiye kadar optimizasyon yalnızca kaliteye odaklanırdı. Optimize edilmiş istemler genellikle orijinalinden daha uzundu. Daha uzun istemler, giriş belirteci maliyetlerini artırır ve ilk belirteç süresini artırabilir; bu, belirli ölçekte çalışan ve gecikmeye duyarlı uygulamalarda önemlidir.
Giriş veri kümenizdeki bir istem şablonu için istem kısaltmayı etkinleştirdiğinizde, optimize edici istemin uzunluğunu azaltır. Optimize edilmiş istem, yalnızca orijinal isteminizden daha kısa olduğunda ve değerlendirmenizde en az aynı puanı aldığında döndürülür. Aksi takdirde orijinal isteminiz döndürülür, böylece bu ayar sizi asla daha uzun veya daha düşük puanlı bir istemle bırakmaz. Sonuçlar, çıktı dosyasında ve konsol sonuç sayfasında bir sıkıştırma oranını ve orijinal ve optimize edilmiş belirteç sayılarını içerir. Örneğin, 0,7'lik bir sıkıştırma oranı, optimize edilmiş istemin %30 daha az belirteç kullandığı anlamına gelir. İstem kısaltma, yönlendirme kriterleri, yargıç olarak LLM dereceleri ve özel Lambda değerlendiricileri dahil olmak üzere herhangi bir değerlendirme yöntemiyle çalışır.
İstem kısaltma, Gelişmiş İstem Optimizasyonu'nun kullanılabildiği tüm AWS Bölgelerinde kullanılabilir. Başlamak için, giriş veri kümenizdeki bir istem şablonu için istem kısaltmasını etkinleştirin ve her zamanki gibi bir optimizasyon işi oluşturun. Daha fazla bilgi edinmek için Amazon Bedrock Kullanıcı Kılavuzu, Amazon Bedrock fiyatlandırma sayfası ve Amazon Bedrock ürün sayfasındaki istemleri kısaltma bölümüne bakın.