Amazon Bedrock, istem önbelleğe alma önizlemesini duyurdu
AWS bugün Amazon Bedrock'ın artık istem önbelleğe almayı desteklediğini duyurdu. İstem önbelleğe alma, birden fazla API çağrısında sık kullanılan istemleri önbelleğe alarak desteklenen modeller için maliyetleri %90'a kadar ve gecikmeyi %85'e kadar azaltabilen yeni bir özelliktir. Tekrarlayan girdileri önbelleğe almanıza ve bağlamı yeniden işlemekten (ör. modelin yanıtını yönlendirmeye yardımcı olan uzun sistem istemleri ve yaygın örnekler) kaçınmanıza olanak tanır. Önbellek kullanıldığında, çıktı üretmek için daha az bilgi işlem kaynağına ihtiyaç duyulur. Sonuç olarak, yalnızca talebinizi daha hızlı işleme koymakla kalmıyor, aynı zamanda daha az kaynak kullanarak maliyet tasarrufu da sağlayabiliyoruz.
Amazon Bedrock, tek bir API aracılığıyla önde gelen yapay zeka şirketlerinden yüksek performanslı FM seçenekleri sunan, tamamen yönetilen bir hizmettir. Amazon Bedrock ayrıca müşterilerin güvenlik, gizlilik ve sorumlu yapay zeka özelliklerine sahip üretken yapay zeka uygulamaları oluşturmak için ihtiyaç duyduğu çok sayıda özelliği sunar. Bu özellikler, farklı sektörlerde birden fazla kullanım durumuna yönelik özel uygulamalar oluşturmanıza yardımcı olarak kuruluşların üretken yapay zekadan sürdürülebilir büyümenin kilidini açmasına yardımcı olurken, müşteri güveni ve veri yönetişimi oluşturmak için araçlar sağlar.
İstem önbelleğe alma özelliği artık bölgeler arası çıkarım yoluyla ABD Batı (Oregon) ve ABD Doğu (Kuzey Virginia) bölgelerinde Claude 3.5 Haiku ve Claude 3.5 Sonnet v2'de, ABD Doğu (Kuzey Virginia) bölgesindeyse Nova Micro, Nova Lite ve Nova Pro modellerinde kullanılabilir. Başlangıçta, yalnızca belirli sayıda müşteri bu özelliğe erişebilir. Önizlemeye katılma hakkında daha fazla bilgi edinmek için bu sayfaya bakın. İstem önbelleğe alma hakkında daha fazla bilgi edinmek için belgelerimize ve blogumuza bakın.