在 Amazon Bedrock 中为 Anthropic Claude 模型推出简化缓存管理功能
发布于:
2025年9月2日
Amazon Bedrock 更新了 Anthropic Claude 模型的提示缓存,以提高 Claude 3.5 Haiku、Claude 3.7 和 Claude 4 模型的易用性。
以前,开发人员需要手动管理缓存点,并跟踪应重复使用的缓存区段。借助简化的缓存管理,您只需在请求结束时设置缓存断点即可。系统会自动读取之前缓存的最长前缀,这使您无需手动指定要重复使用的分段,并减少了管理缓存逻辑所需的工作量。
通过自动识别和应用正确的缓存内容,简化的缓存管理不仅有助于减少手动工作量,而且还有助于释放更多令牌,因为缓存读取令牌不计入您的每分钟令牌数 (TPM) 配额。这可以更轻松地构建多轮工作流程和研究助手,同时提高性能和成本效率。
简化的缓存管理现已在 Amazon Bedrock 上提供 Anthropic Claude 3.5 Haiku、Claude 3.7 和 Claude 4 模型的所有区域推出。要开始使用,请查看 Amazon Bedrock 开发人员指南并在模型调用中启用缓存。