Knowledge Bases for Amazon Bedrock, 이제 RAG 평가 지원(평가판)
AWS는 오늘 Knowledge Bases for Amazon Bedrock에서 RAG 평가를 지원한다고 발표했습니다. 이 기능을 사용하면 Knowledge Bases for Amazon Bedrock에 구축된 검색 증강 생성(RAG) 애플리케이션을 평가할 수 있습니다. 정보 검색을 평가하거나 검색 및 콘텐츠 생성을 평가할 수 있습니다. 평가는 LLM-as-a-Judge 기술을 기반으로 하며, 고객은 여러 심사 모델 중에서 선택할 수 있습니다. 검색 평가의 경우, 컨텍스트 관련성 및 적용 범위와 같은 지표 중에서 선택할 수 있습니다. 검색 및 생성 평가의 경우, 정확성, 완전성, 충실도(할루시네이션 탐지)와 같은 품질 지표와 유해성, 답변 거부, 고정관념과 같은 책임 있는 AI 지표 중에서 선택할 수 있습니다. 또한 여러 평가 작업을 비교하여 Knowledge Bases를 청크 전략이나 벡터 길이, 콘텐츠 생성 모델과 같은 다양한 설정과 비교할 수도 있습니다.
검색 및 생성에는 최적화해야 하는 구성 요소가 많기 때문에 RAG 애플리케이션을 평가하는 것은 어려울 수 있습니다. 이제 Knowledge Bases for Amazon Bedrock의 RAG 평가 도구를 사용하면 데이터와 LLM이 이미 있는 곳에서 빠르고 간편하게 지식 기반 애플리케이션을 평가할 수 있습니다. 아울러 Amazon Bedrock 가드레일을 평가에 직접 통합하여 더욱 철저한 테스트를 수행할 수도 있습니다. Amazon Bedrock에서 이러한 RAG 평가 도구를 사용하면 오프라인으로 사람이 모두 평가하는 것과 비교하여 몇 주의 시간과 비용을 절감할 수 있으므로 애플리케이션을 더 쉽고 빠르게 개선할 수 있습니다.
리전 가용성 등 자세한 내용을 알아보려면 AWS 뉴스 블로그와 Amazon Bedrock 평가 페이지를 살펴보세요. 시작하려면 Amazon Bedrock 콘솔에 로그인하거나 Amazon Bedrock API를 사용하시기 바랍니다.