게시된 날짜: Apr 25, 2024
이제 SageMaker Clarify를 사용한 파운데이션 모델 평가가 정식 버전으로 제공됩니다. 이 기능을 사용하는 데이터 과학자와 기계 학습 엔지니어는 여러 작업에서 다양한 기준에 따라 몇 분 만에 파운데이션 모델을 평가, 비교 및 선택할 수 있습니다.
SageMaker 고객은 수백 개의 파운데이션 모델 중에서 선택하여 생성형 AI 애플리케이션을 구동합니다. 이들은 모델 선택 및 모델 사용자 지정 과정에서 이러한 모델을 평가하고 비교하여 사용 사례에 가장 적합한 모델을 결정합니다. 이 프로세스는 관련 벤치마크를 파악하고, 평가 도구를 구성하고, 각 모델에 대한 평가를 수행하는 데 며칠이 걸릴 수 있습니다. 이렇게 얻은 결과를 원하는 구체적인 사용 사례에 적용하기가 어려운 경우가 많습니다.
SageMaker Clarify는 해석 가능한 결과와 함께 자동화된 인적 평가를 제공합니다. 고객은 Amazon SageMaker Studio의 이 새로운 기능을 사용하여 SageMaker에서 호스팅하는 LLM을 평가하거나 fmeval을 사용하여 원하는 LLM을 평가할 수 있습니다. 텍스트 생성, 요약, 질문 답변, 분류 등의 작업에 맞게 큐레이션된 프롬프트 데이터세트를 활용하여 시작해 보세요. 추론 파라미터와 프롬프트 템플릿을 사용자 지정하고 다양한 모델 설정의 결과를 비교하세요. 사용자 지정 프롬프트 데이터세트와 지표로 평가를 확장하세요. 고객은 인적 평가를 통해 창의성이나 스타일 같은 보다 주관적인 측면을 평가할 수 있습니다. 각 평가가 끝나면 고객은 시각화 및 예제가 포함된 종합 보고서를 받게 되며 이를 SageMaker ML 워크플로에 통합할 수 있습니다.
이 기능은 AWS GovCloud(미국) 리전, 중국 리전, 아시아 태평양(하이데라바드), 아시아 태평양(멜버른), 캐나다 서부(캘거리), 유럽(취리히), 유럽(스톡홀름), 유럽(스페인), 이스라엘(텔아비브), 중동 (UAE)을 제외한 모든 AWS 리전에서 사용할 수 있습니다.