Amazon Bedrock istem önbelleğe alma

Genel Bakış

Birçok altyapı modeli (FM) kullanım örneği, API çağrıları arasında istemlerin (öneklerin) belirli bölümlerini yeniden kullanır. Komut istemi önbelleğe alma ile desteklenen modeller, bu tekrarlanan istem öneklerini istekler arasında önbelleğe almanıza izin verir. Bu önbellek, modelin eşleşen öneklerin yeniden hesaplanmasını atlamasını sağlar. Sonuç olarak, Amazon Bedrock'ta istem önbelleğe alma, desteklenen modeller için maliyetleri %90'a kadar ve gecikmeyi %85'e kadar azaltabilir.

Birden çok kullanım örneği için performansı artırın

Birçok uygulama, belge Soru-Cevap, kod yardımcıları, temsilci araması veya uzun biçimli sohbet gibi uzun istemler gerektirir veya bunlardan yararlanır. En akıllı altyapı modellerinde bile, kullanım durumunuz için doğru sonuçları elde etmek için genellikle çok sayıda örneklerle ayrıntılı talimatlar içeren kapsamlı istemler kullanmanız gerekir. Ancak, API çağrıları arasında yeniden kullanılan uzun istemler, ortalama gecikmenin artmasına neden olabilir. İstem önbelleğe alma ile, istem öneki önceden önbelleğe alınmışsa dahili model durumunun yeniden hesaplanmasına gerek yoktur. Bu işlem süresinden tasarruf ederek yanıt gecikmelerinin azalmasına neden olur.

Kullanıcı arabirimi ekran görüntüsü

Uzun, tekrarlanan istemlerle ilişkili maliyeti azaltın

İstem önbelleğe alma ile, giriş belirteci maliyetlerinden tasarruf etmek için isteminizin ilgili bölümlerini önbelleğe alabilirsiniz. Önbelleğiniz hesabınıza özeldir ve istemlerinizi temsil eden dahili model durumunu içerir. Model önbelleğe alınan önekler için yeniden hesaplamayı atlayabildiğinden, isteklerinizi işlemek için gereken hesaplama kaynakları azalır. Sonuç olarak, maliyetleriniz azalır.

Diğer Amazon Bedrock özellikleriyle sorunsuz bir şekilde entegre edin

İstem önbelleğe alma, Temsilciler gibi Amazon Bedrock özellikleriyle bütünleşerek çok adımlı görevleri hızlandırmanıza ve hatta yanıtlarınızı yavaşlatmadan temsilci davranışını iyileştirmenize yardımcı olmak için daha uzun sistem istemlerinden yararlanmanıza olanak tanır.