게시된 날짜: Oct 28, 2022
이제 Amazon SageMaker Model Monitor를 사용하여 SageMaker의 배치 변환 작업을 통해 기계 학습 예측의 품질을 모니터링할 수 있습니다. Amazon SageMaker Model Monitor는 프로덕션의 모델을 모니터링하고, 편차를 감지하며, 감사 또는 재훈련과 같은 시기적절한 조치를 취할 수 있도록 완전관리형 환경을 제공합니다.
Amazon SageMaker 배치 변환을 사용하면 Amazon S3에 저장된 데이터 세트에서 예측 기능을 실행할 수 있습니다. 이 기능은 대규모의 데이터 세트로 작업하고 영구 추론 엔드포인트가 필요하지 않은 시나리오에 이상적입니다. 프로덕션에서 모델이 배포되면 실제 데이터는 시간에 따라 모델을 훈련하는 데 사용된 데이터로부터 벗어날 수도 있는데, 이로 인해 결국 모델 정확도가 낮아질 수도 있습니다. 예를 들어 금리 같은 거시 경제 조건의 변경 사항은 주택 가격을 예측하는 데 사용되는 모델의 품질에 영향을 줄 수 있습니다. Model Monitor를 통해 데이터 품질, 모델 품질, 바이어스 및 기능 속성의 드리프트를 탐지하고 이러한 변경 사항이 발생했을 경우 고객이 수정 조치를 시행할 수 있도록 알림을 받을 수 있습니다.
또한 Amazon SageMaker Model Monitor를 활용하면 프로덕션의 배치 변환 데이터를 수집하고, 분석하고, 편차를 탐지하기 위해 훈련 또는 검증 데이터와 비교할 수 있습니다. SageMaker Model Monitor의 기본 제공 규칙을 사용하여 구조화된 데이터 세트에 대한 드리프트를 즉시 탐지하거나, 기본 제공 규칙을 실행하기 전에 데이터 변환을 추가하거나, 고유한 사용자 정의 규칙을 작성할 수 있습니다. 고객은 다양한 인스턴스 유형에서 Model Monitor를 사용하고, 이를 정기적으로(시간당/일당) 실행하도록 예약하고, Amazon CloudWatch로 요약 지표를 푸시하고, 수정 조치에 대해 알림 및 트리거를 설정할 수 있습니다.