Quản lý bộ nhớ đệm đơn giản cho các mô hình Claude của Anthropic trong Amazon Bedrock
Amazon Bedrock đã cập nhật khả năng lưu câu lệnh vào bộ nhớ đệm cho các mô hình Claude của Anthropic, nâng cao trải nghiệm sử dụng cho các mô hình Claude 3.5 Haiku, Claude 3.7 và Claude 4.
Trước đây, các nhà phát triển cần quản lý các điểm bộ nhớ đệm theo cách thủ công và theo dõi những phân đoạn được lưu trong bộ nhớ đệm nên được tái sử dụng. Với khả năng quản lý bộ nhớ đệm đơn giản, bạn chỉ cần thiết lập điểm ngắt bộ nhớ đệm ở cuối yêu cầu của mình. Hệ thống tự động đọc từ tiền tố được lưu trong bộ nhớ đệm dài nhất trước đó, giúp loại bỏ việc phải chỉ định thủ công các phân đoạn cần tái sử dụng và giảm nỗ lực quản lý logic bộ nhớ đệm.
Bằng cách tự động xác định và áp dụng nội dung được lưu trong bộ nhớ đệm phù hợp, việc quản lý bộ nhớ đệm đơn giản không chỉ giúp giảm nỗ lực thủ công mà còn giúp giải phóng nhiều mã thông báo hơn vì mã thông báo đọc bộ nhớ đệm không được tính vào hạn mức mã thông báo mỗi phút (TPM) của bạn. Điều này có thể giúp việc xây dựng quy trình làm việc nhiều lượt và trợ lý nghiên cứu dễ dàng hơn, đồng thời cải thiện cả hiệu năng và khả năng tiết kiệm chi phí.
Quản lý bộ nhớ đệm đơn giản hiện được cung cấp ở tất cả các khu vực mà các mô hình Anthropic Claude 3.5 Haiku, Claude 3.7 và Claude 4 được cung cấp trên Amazon Bedrock. Để bắt đầu, hãy xem lại Hướng dẫn dành cho nhà phát triển Amazon Bedrock và bật bộ nhớ đệm trong các lệnh gọi mô hình của bạn.