Amazon Bedrock 고급 프롬프트 최적화, 이제 프롬프트 단축 지원
Amazon Bedrock 고급 프롬프트 최적화가 이제 프롬프트 단축을 지원합니다. 이 선택적 설정은 평가 점수를 유지하거나 개선하면서 프롬프트의 길이를 줄입니다. 고급 프롬프트 최적화는 각자의 평가 기준에 따라 Amazon Bedrock의 모든 모델에 대한 프롬프트를 최적화합니다. 지금까지 최적화는 품질에만 초점을 맞췄습니다. 최적화된 프롬프트는 원래 프롬프트보다 더 긴 경우가 많았습니다. 프롬프트가 길수록 입력 토큰 비용과 첫 번째 토큰까지 시간이 늘어날 수 있는데, 규모와 지연 시간에 민감한 애플리케이션에서 문제가 됩니다.
입력 데이터세트의 프롬프트 템플릿에 대해 프롬프트 단축을 켜면 최적화 프로그램이 프롬프트 길이를 줄입니다. 최적화된 프롬프트가 반환되려면 원래 프롬프트보다 짧고, 평가 점수가 원본 프롬프트와 같거나 더 높아야 합니다. 그렇지 않으면 원래의 프롬프트가 반환되므로, 이 설정을 적용하면 길이가 더 길거나 점수가 낮은 프롬프트가 표시되지 않습니다. 결과에는 출력 파일과 콘솔 결과 페이지에 표시되는 압축률과 원본 및 최적화된 토큰 수가 포함됩니다. 예를 들어 압축률이 0.7이면 최적화된 프롬프트가 토큰을 30% 적게 사용한다는 의미입니다. 프롬프트 단축은 스티어링 기준, 평가형 LLM 루브릭, 사용자 지정 Lambda 평가기를 포함한 모든 평가 방법에 유효합니다.
프롬프트 단축은 고급 프롬프트 최적화가 제공되는 모든 AWS 리전에서 사용할 수 있습니다. 시작하려면 입력 데이터세트에서 프롬프트 템플릿의 프롬프트 단축을 활성화하고 평소와 같이 최적화 작업을 생성하세요. 자세히 알아보려면 Amazon Bedrock 사용 설명서, Amazon Bedrock 요금 페이지, Amazon Bedrock 제품 페이지의 프롬프트 단축을 참조하세요.