게시된 날짜: Nov 29, 2023
파운데이션 모델(FM) 팡가 지원을 위한 Amazon SageMaker Clarify의 새 기능이 오늘 발표되었습니다. AWS 고객은 이 기능을 활용해 몇 분 내에 정확도, 안정성, 바이어스, 유해성 등의 지표를 기준으로 FM을 비교 및 선택할 수 있습니다.
오늘부터는 생성형 AI 애플리케이션을 지원할 FM을 선택하는 고객, 그리고 이러한 모델을 빠르게 비교하여 사용 사례에 가장 적합한 옵션을 확인하려는 고객에게 더욱 광범위한 옵션이 제공됩니다. 이전에는 모델 비교를 시작하려는 고객이 며칠 동안 관련 벤치마크를 파악하고 평가 도구를 설정한 후 각 모델에서 평가를 실행해야 했습니다. 그리고 해석이 어려운 결과가 제공되는 경우도 많았습니다.
이제는 SageMaker Clarify에서 모델 선택 중에, 그리고 모델 사용자 지정 워크플로 전반에서 FM 평가가 지원됩니다. 그러므로 고객은 개방형 텍스트 생성, 요약, 질문에 답변, 분류 등의 일반적인 작업용으로 엄선된 목적별 프롬프트 데이터 세트를 활용하여 FM 평가를 시작할 수 있습니다. 그리고 사용자 지정 프롬프트 데이터 세트를 추가하여 FM 평가 범위를 확장할 수 있습니다. 독창성, 스타일 등 주관적으로 평가해야 하는 차원에서는 인적 평가를 진행할 수 있습니다. 각 평가가 완료되면 고객에게 평가 보고서가 제공됩니다. 해당 보고서에는 자연어로 요약된 결과 및 시각화와 예제가 포함되어 있습니다. 고객은 모든 지표와 보고서를 다운로드하여 SageMaker ML 워크플로에 통합할 수 있습니다.