Amazon Web Services 한국 블로그
Amazon Bedrock, 신규 고급 프롬프트 최적화 및 마이그레이션 도구 출시
오늘 Amazon Bedrock Advanced Prompt Optimization을 소개합니다. 이 도구는 Amazon Bedrock의 모든 모델에 대해 프롬프트를 최적화하는 한편, 최대 5개 모델에서 원본 프롬프트와 최적화된 프롬프트를 동시에 비교하는 데 사용할 수 있는 새로운 도구입니다. 새로운 프롬프트 최적화를 통해 새 모델로 마이그레이션하거나 현재 모델에서 성능을 개선할 수 있습니다. 테스트를 통해 알려진 사용 사례에서 회귀가 발생하지 않는지 확인하고 성능이 떨어지는 작업을 개선할 수 있습니다.
이 새로운 프롬프트 최적화 도구는 프롬프트 템플릿, 변수 값으로 사용할 예제 사용자 입력, 기준 답변, 그리고 가이드로 사용할 평가 지표를 입력받습니다. 이 도구를 멀티모달 사용자 입력에도 사용할 수 있습니다. png, jpg 및 pdf를 프롬프트 템플릿에 대한 입력으로 지원하므로 문서 및 이미지 분석과 같은 작업에 맞게 프롬프트를 최적화할 수 있습니다.
또한 AWS Lambda 함수, 평가형 LLM 루브릭 또는 간단한 자연어 설명을 제공하여 최적화를 안내할 수 있습니다. 프롬프트 최적화 도구는 지표 기반 피드백 루프에서 작동하여 프롬프트와 그에 따른 모델 응답을 평가 지표에 맞춰 최적화하고, 원본 및 최종 프롬프트 템플릿을 평가 점수, 예상 비용, 지연 시간과 함께 출력합니다.
Bedrock Advanced Prompt Optimization 작동 방식
새로운 프롬프트 최적화를 시작하려면 Amazon Bedrock 콘솔의 고급 프롬프트 최적화 페이지에서 프롬프트 최적화 생성을 선택합니다.
프롬프트 최적화 대상 추론 모델을 최대 5개까지 선택할 수 있습니다. 새 모델로 마이그레이션 중이거나 현재 모델에서 더 나은 성능을 얻으려는 경우 이 기능을 사용할 수 있습니다. 모델을 변경하는 경우, 현재 모델을 기준 모델로 선택하고 최대 4개의 다른 모델을 선택할 수 있습니다. 모델을 변경하지 않는 경우, 현재 모델을 선택하여 최적화 전후를 확인하세요.
예제 사용자 데이터, 기준 답변, 평가 지표 또는 재작성 지침과 함께 프롬프트 템플릿을 JSONL 형식으로 준비해야 합니다. .jsonl 파일의 경우 각 JSON 객체는 한 줄로 작성되어야 합니다.
{
"version": "bedrock-2026-05-14", // 필수, 고정 값
"templateId": "string", // 필수
"promptTemplate": "string", // 필수
"steeringCriteria": ["string"], // 선택 사항
"customEvaluationMetricLabel": "string", // customLLMJConfig 또는 evaluationMetricLambdaArn을 사용하는 경우 필수
"customLLMJConfig": { // 선택 사항
"customLLMJPrompt": "string", // customLLMJConfig가 있는 경우 필수
"customLLMJModelId": "string" // customLLMJConfig가 있는 경우 필수
},
"evaluationMetricLambdaArn": "string", // 선택 사항
"evaluationSamples": [ // 필수
{
"inputVariables": [ // 필수
{
"variableName1": "string",
"variableName2": "string"
}
],
"referenceResponse": "string" // 선택 사항
"inputVariablesMultimodal": [ // 선택 사항
{
"Arbitrary_Name": { // 멀티모달 변수에 필수입니다.
"type": "string", // ‘PDF’ 또는 ‘IMAGE’ 중에서 선택합니다. Acceptable filetypes for IMAGE = png, jpg,
"s3Uri": "string" // 파일의 S3 경로 입력
}
]
}
]
}파일을 직접 업로드하거나 Amazon Simple Storage Service(Amazon S3)에서 프롬프트 템플릿을 가져오고 프롬프트 최적화 결과 및 평가 데이터를 저장할 S3 출력 위치를 설정할 수 있습니다. 그런 다음, 최적화 생성을 선택합니다.
Amazon Bedrock은 기준 정보(선택 사항)와 함께 프롬프트 템플릿과 예제 데이터를 추론 모델에 자동으로 전송하고, 평가 지표로 응답을 평가한 다음, 피드백 루프에서 프롬프트를 다시 작성하여 추론 모델에 맞게 최적화합니다. 제공된 지표와 최적화된 최종 프롬프트를 기반으로 평가 결과를 볼 수 있습니다.
앞서 언급했듯이 자체 Python 채점 로직을 사용한 Lambda 함수, 사용자 지정 루브릭을 사용한 평가형 LLM 또는 자연어 조향 기준이라는 세 가지 방법으로 프롬프트 품질을 평가할 수 있습니다. 프롬프트 템플릿당 하나의 방법만 선택할 수 있지만, 작업에서 여러 프롬프트 템플릿을 사용할 수 있으므로 원하는 경우 각 프롬프트 템플릿에 대해 다른 방법을 사용할 수 있습니다.
- Lambda 함수 — 구체적인 지표(정확도, F1, 실행 정확도, 구조화된 JSON 일치 등)가 있는 경우 사용자 지정 채점 로직을 포함하는 Lambda 함수를 배포하고 프롬프트 템플릿의
evaluationMetricS3Uri필드를 구성할 수 있습니다. Lambda 내부의 핵심은 모델 출력을 기준 응답과 프로그래밍 방식으로 비교하는 compute_score 구현입니다. - 평가형 LLM — 작업이 개방형(요약, 생성, 추론 설명)이고 루브릭 기반 점수를 원하는 경우, 프롬프트 템플릿의
customLLMJConfig필드에 있는 S3 구성 파일을 구성하여 구조화된 지침 및 등급 척도를 사용하여 명명된 지표를 정의할 수 있습니다. Bedrock 평가자 모델은 각 프롬프트-응답 쌍을 평가하고 추론과 함께 점수를 반환합니다. 기본 모델은 Claude Sonnet 4.6이며 평가자 모델 목록에서 원하는 모델을 선택할 수도 있습니다. - 조향 기준 — 원하는 품질(브랜드 보이스, 형식, 안전 제약 조건)을 알고 있지만 전체 평가자 프롬프트를 작성하지 않으려는 경우, 프롬프트 템플릿의
steeringCriteria배열을 통해 입력 데이터세트에 기준을 정의할 수 있습니다. 등급 척도가 있는 구조화된 지표 대신 LLM 평가자가 전체적으로 평가하는 자유 형식의 자연어 기준을 제공합니다. 이 옵션을 사용하면 기본 평가형 LLM 프롬프트가 응답을 평가하고 조향 기준을 평가자 프롬프트에 통합합니다. 이 예시의 평가자 모델은 Anthropic Claude Sonnet 4.6입니다.
고급 프롬프트 최적화 및 마이그레이션을 사용하는 방법에 대해 자세히 알아보려면 Bedrock의 고급 프롬프트 최적화 가이드 및 Github의 샘플 코드를 참조하세요.
정식 출시
Amazon Bedrock Advanced Prompt Optimization은 현재 미국 동부(버지니아 북부, 오하이오), 미국 서부(오리곤), 아시아 태평양(뭄바이, 서울, 싱가포르, 시드니, 도쿄), 캐나다(중부), 유럽(프랑크푸르트, 아일랜드, 런던, 취리히) 및 남아메리카(상파울루) 리전에서 사용할 수 있습니다. 최적화 중에 사용된 Bedrock 모델 추론 토큰에 대해, 일반 Bedrock 추론과 동일한 토큰당 요금이 부과됩니다. 자세한 내용은 Amazon Bedrock 요금 페이지를 참조하세요.
지금 바로 Amazon Bedrock 콘솔 또는 CreateAdvancedPromptOptimizationJob API를 사용하여 고급 프롬프트 최적화를 시도해 보시고 AWS re:Post for Amazon Bedrock 또는 평소 이용하는 AWS Support 연락처를 통해 피드백을 보내주세요.
— Channy