게시된 날짜: Apr 23, 2024
Amazon Bedrock의 모델 평가 기능을 활용하면 파운데이션 모델을 평가 및 비교한 후 사용 사례에 가장 적합한 모델을 선택할 수 있습니다. Amazon Bedrock에서는 자동 평가와 인적 평가 중 원하는 방식을 선택할 수 있습니다. 정확도, 강건성, 유해성 등의 지표에 대해 미리 정의된 알고리즘으로 자동 평가를 사용할 수 있습니다. 아울러 이러한 지표 또는 호감도, 스타일, 브랜드와의 통일성과 같은 주관적 지표나 사용자 지정 지표를 적용하려는 경우에는 클릭 몇 번으로 인적 평가 워크플로를 설정할 수 있습니다. 인적 평가 워크플로에서는 사내 직원이나 AWS 관리 팀을 검토자로 활용할 수 있습니다. 모델 평가 기능에서 기본 제공되는 엄선된 데이터 세트를 사용할 수도 있고 원하는 데이터 세트를 추가할 수도 있습니다.
Amazon Bedrock의 대화형 인터페이스에서는 모델 평가 과정을 안내해 주므로 평가 방식(인적 평가 또는 자동 평가)과 작업 유형 및 지표를 선택하고 프롬프트 데이터세트를 업로드하기만 하면 됩니다. 그러면 Amazon Bedrock에서 평가를 실행하여 보고서를 생성하므로 선택한 지표를 기준으로 모델 성능을 손쉽게 파악하고 사용 사례에 적합한 모델을 선택할 수 있습니다. 이 보고서를 Amazon Bedrock 플레이그라운드의 비용 및 지연 시간 지표와 함께 사용하면 필요한 품질, 비용 및 지연 시간 간에 균형을 갖춘 모델을 선택할 수 있습니다.
Amazon Bedrock의 모델 평가 기능은 현재 미국 동부(버지니아 북부) 및 미국 서부(오레곤) AWS 리전에서 정식 버전으로 제공됩니다. 자세한 내용은 AWS 리전 표에서 확인하세요.
Amazon Bedrock의 모델 평가 기능에 대해 자세히 알아보려면 Amazon Bedrock 개발자 경험 웹 페이지를 참조하세요. 시작하려면 AWS Management Console에서 Amazon Bedrock에 로그인하거나 Amazon Bedrock API를 사용하세요.