Amazon Bedrock, Anthropic Claude 모델을 위한 간소화된 캐시 관리 기능 제공

게시된 날짜: 2025년 9월 2일

Amazon Bedrock은 Anthropic의 Claude 모델(Claude 3.5 Haiku, Claude 3.7, Claude 4)의 프롬프트 캐싱을 업데이트하여 사용 편의성을 향상했습니다.

기존에는 개발자가 캐시 포인트를 수동으로 관리하고, 어떤 캐시 구간을 재사용할지 직접 추적해야 했습니다. 간소화된 캐시 관리 기능을 사용하면 요청의 끝 부분에 캐시 중단점만 설정하면 됩니다. 시스템이 자동으로 이전에 캐시된 가장 긴 접두사를 읽어 들이므로, 재사용할 구간을 수동으로 지정할 필요가 없어지고 캐시 로직 관리에 필요한 노력도 줄어듭니다.

자동으로 적절한 캐시된 콘텐츠를 식별하고 적용함으로써 간소화된 캐시 관리는 수동 작업을 줄이는 동시에, 캐시 읽기 토큰이 분당 토큰(TPM) 할당량에 포함되지 않으므로 더 많은 토큰을 확보할 수 있습니다. 따라서 멀티턴 워크플로와 리서치 어시스턴트 구축이 더 쉬워지며, 성능과 비용 효율성도 향상됩니다.

간소화된 캐시 관리 기능은 현재 Amazon Bedrock에서 Anthropic Claude 3.5 Haiku, Claude 3.7, Claude 4 모델이 제공되는 모든 리전에서 사용할 수 있습니다. 시작하려면 Amazon Bedrock 개발자 안내서를 검토하고, 모델 간접 호출에서 캐싱을 활성화시기 바랍니다.