Amazon Bedrock'taki Anthropic'in Claude modelleri için Basitleştirilmiş Önbellek Yönetimi
Amazon Bedrock, Claude 3.5 Haiku, Claude 3.7 ve Claude 4 modellerinin kullanım kolaylığını artırmak için Anthropic'in Claude modelleri için istem önbelleğe almayı güncelledi.
Eskiden, geliştiricilerin önbellek noktalarını manuel olarak yönetmesi ve hangi önbelleğe alınan bölümlerin yeniden kullanılması gerektiğinin takibini yapması gerekiyordu. Basitleştirilmiş önbellek yönetimi ile, yalnızca isteğinizin sonunda bir önbellek kesim noktası ayarlamanız gerekir. Sistem, önceden önbelleğe alınmış en uzun önekten otomatik olarak okur, bu da hangi segmentlerin yeniden kullanılacağını manuel olarak belirtme ihtiyacını ortadan kaldırır ve önbellek mantığını yönetmek için gereken çabayı azaltır.
Basitleştirilmiş önbellek yönetimi, doğru önbelleğe alınan içeriği otomatik olarak tanımlayıp uygulayarak yalnızca manuel çabayı azaltmakla kalmaz, aynı zamanda önbellek okuma belirteçleri dakika başına belirteç (TPM) kotalarınıza dahil edilmediğinden daha fazla belirteç boşaltılmasına da yardımcı olur. Bu, hem performansı hem de maliyet verimliliğini artırırken çok turlu iş akışları ve araştırma asistanları oluşturmayı kolaylaştırabilir.
Basitleştirilmiş önbellek yönetimi, bugün Anthropic Claude 3.5 Haiku, Claude 3.7 ve Claude 4 modellerinin Amazon Bedrock'ta sunulduğu tüm bölgelerde kullanılabilir. Başlamak için Amazon Bedrock Geliştirici Kılavuzu'nu inceleyin ve model çağrılarınızda önbelleğe almayı etkinleştirin.