Manajemen Cache yang Disederhanakan untuk Model Claude Anthropic di Amazon Bedrock
Amazon Bedrock telah memperbarui caching prompt untuk model Claude Anthropic guna meningkatkan kemudahan penggunaan untuk model Claude 3.5 Haiku, Claude 3.7, dan Claude 4.
Sebelumnya, pengembang perlu mengelola titik cache secara manual dan melacak segmen cache mana yang harus digunakan kembali. Dengan manajemen cache yang disederhanakan, Anda hanya perlu mengatur titik henti cache di akhir permintaan Anda. Sistem secara otomatis membaca dari awalan terpanjang yang di-cache sebelumnya, yang menghilangkan kebutuhan untuk menentukan secara manual segmen mana yang akan digunakan kembali dan mengurangi upaya yang diperlukan untuk mengelola logika cache.
Dengan mengidentifikasi dan menerapkan konten cache yang tepat secara otomatis, manajemen cache yang disederhanakan tidak hanya membantu mengurangi upaya manual, tetapi juga membantu membebaskan lebih banyak token karena token pembacaan cache tidak dihitung terhadap kuota token per menit (TPM) Anda. Hal ini dapat mempermudah pembuatan alur kerja multi-giliran dan asisten penelitian, sekaligus meningkatkan kinerja dan efisiensi biaya.
Manajemen cache yang disederhanakan tersedia saat ini di semua region tempat model Anthropic Claude 3.5 Haiku, Claude 3.7, dan Claude 4 ditawarkan di Amazon Bedrock. Untuk memulai, tinjau Panduan Pengembang Amazon Bedrock dan aktifkan caching dalam invokasi model Anda.