게시된 날짜: Nov 29, 2023
Amazon Bedrock의 모델 평가 기능을 활용하면 파운데이션 모델을 평가/비교한 후 사용 사례에 가장 적합한 모델을 선택할 수 있습니다. Amazon Bedrock에서는 자동 평가와 인적 평가 중 원하는 방식을 선택할 수 있습니다. 정확도, 안정성, 유해성 등의 미리 정의된 지표를 적용하여 자동 평가를 사용할 수 있습니다. 호감도, 스타일, 브랜드와의 통일성과 같은 주관적 지표나 사용자 지정 지표를 적용하려는 경우에는 클릭 몇 번으로 인적 평가 워크플로를 설정할 수 있습니다. 인적 평가 워크플로에서는 사내 직원이나 AWS 관리 팀을 검토자로 활용할 수 있습니다. 모델 평가 기능에서 기본 제공되는 엄선된 데이터 세트를 사용할 수도 있고 원하는 데이터 세트를 추가할 수도 있습니다.
Amazon Bedrock의 대화형 인터페이스에서는 모델 평가 과정을 안내해 주므로 평가 방식(인적 평가 또는 자동 평가)과 작업 유형 및 지표를 선택하고 프롬프트 데이터 세트만 업로드하면 됩니다. 그러면 Amazon Bedrock에서 평가를 실행하여 보고서를 생성하므로 선택한 지표 기준 모델 성능을 쉽게 파악하여 사용 사례에 적합한 모델을 선택할 수 있습니다.
Amazon Bedrock의 모델 평가 기능은 미국 동부(버지니아 북부) 및 미국 서부(오레곤) AWS 리전에서 평가판으로 제공됩니다. 자세한 내용은 AWS 리전 표를 참조하세요.
Amazon Bedrock의 모델 평가 기능에 대해 자세히 알아보려면 Amazon Bedrock 개발자 경험 웹 페이지를 참조하세요. 이 기능의 사용을 시작하려면 AWS Management Console에서 Amazon Bedrock에 로그인하세요.