Amazon Bedrock, 고급 프롬프트 최적화 및 마이그레이션 도구 출시
고객은 새로운 모델로 마이그레이션하거나 현재 모델의 성능을 개선하고자 할 때 프롬프트를 최적화하고 응답을 평가하는 데 며칠에서 몇 주를 소비합니다. 프롬프트를 신속하게 변경한 다음 테스트하여 회귀를 방지하고 성과가 저조한 태스크를 개선하는 데 어려움을 겪고 있습니다. 이러한 상황에서는 평가 기능이 내장된 동일한 도구, 프롬프트 옵티마이저가 필요합니다.
오늘 Amazon Bedrock은 고급 프롬프트 최적화 기능을 출시했습니다. 이 새로운 기능을 사용하면 Bedrock의 모든 모델에 대한 프롬프트를 최적화하고 최대 5개 모델에서 원래 프롬프트와 최적화된 프롬프트를 동시에 비교할 수 있습니다. 고객은 새 모델로 마이그레이션하거나 현재 모델에서 더 나은 성능을 얻고자 할 때 이 기능을 사용할 수 있습니다. 모델을 변경하는 경우에는 현재 모델을 베이스라인으로 선택하고 최대 4개의 다른 모델을 선택할 수 있습니다. 모델을 변경하지 않는 경우에는 현재 모델을 선택하여 최적화 전후의 상태를 확인하기만 하면 됩니다. 옵티마이저는 프롬프트 템플릿, 변수 값에 대한 예제 사용자 입력, 선택적 실측 답변, 평가 지표 또는 간단한 자연어 기준을 지침으로 사용합니다. 심지어 jpg, png 또는 PDF 같은 멀티모달 입력과도 호환됩니다. 프롬프트 옵티마이저는 피드백 루프에서 작동하여 프롬프트, 결과 모델 응답을 평가 지표 최적화에 맞게 조정하고 평가 점수, 예상 비용, 지연 시간이 포함된 원본 및 최종 프롬프트 템플릿을 출력합니다.
리전 가용성은 설명서에서 확인하세요. 요금은 Bedrock 요금 페이지를 참조하세요. 시작하려면 고급 프롬프트 옵티마이저용 Bedrock API를 사용하거나 Bedrock 콘솔을 방문하세요.