Amazon Bedrock의 프롬프트 캐싱 평가판 발표
이제 Amazon Bedrock에서 프롬프트 캐싱이 지원됨이 오늘 발표되었습니다. 프롬프트 캐싱은 여러 API 직접 호출에서 자주 사용되는 프롬프트를 캐싱하여 지원되는 모델의 비용은 90%까지 줄이고 지연 시간은 85%까지 단축할 수 있는 새로운 기능입니다. 이 기능을 사용하면 반복해서 입력하는 내용을 캐시할 수 있으므로 컨텍스트를 다시 처리할 필요가 없습니다. 가령 모델의 응답 내용을 안내하는 일반적인 예제와 긴 시스템 프롬프트 등을 캐시할 수 있습니다. 캐시 사용 시에는 출력을 생성하는 데 필요한 컴퓨팅 리소스가 감소합니다. 따라서 요청을 더 빠르게 처리하는 동시에, 리소스 사용량이 적어져 비용도 절약할 수 있습니다.
Amazon Bedrock은 단일 API를 통해 주요 AI 기업의 고성능 FM 옵션을 제공하는 완전관리형 서비스입니다. 또한 Amazon Bedrock은 보안, 개인 정보 보호 및 책임 있는 AI가 기본 제공되는 생성형 AI 애플리케이션을 구축하는 데 필요한 다양한 기능을 제공합니다. 이러한 기능을 사용하면 다양한 산업 분야의 여러 사용 사례에 맞는 맞춤형 애플리케이션을 구축할 수 있습니다. 따라서 조직이 생성형 AI를 통해 사업 규모를 지속적으로 확장하는 동시에, 고객의 신뢰도를 높이고 데이터 거버넌스를 강화하는 도구를 제공할 수 있습니다.
이제는 미국 서부(오리건) 및 미국 동부(버지니아 북부)의 Claude 3.5 Haiku 및 Claude 3.5 Sonnet v2에서 교차 리전 추론을 통해 프롬프트 캐싱을 사용할 수 있습니다. 미국 동부(버지니아 북부)에서는 Nova Micro, Nova Lite 및 Nova Pro 모델에서도 프롬프트 캐싱을 사용할 수 있습니다. 출시 시점에는 일부 고객만 이 기능에 액세스할 수 있습니다. 평가판 사용에 참여하는 방법에 대한 자세한 내용은 이 페이지를 참조하세요. 프롬프트 캐싱에 대해 자세히 알아보려면 설명서 및 블로그를 참조하세요.