게시된 날짜: Dec 8, 2020
Amazon SageMaker Model Monitor가 이제 기계 학습 모델의 개념 드리프트(즉, 시간의 경과에 따른 데이터 분포 및 특성의 변화)를 지속적으로 모니터링하여 편차가 발생한 경우에 시정 조치를 취할 수 있도록 알림을 제공합니다. 오늘부터 Amazon SageMaker Model Monitor를 사용하여 모델 품질, 바이어스 및 피처 중요도의 드리프트도 탐지할 수 있습니다. 이 새로운 완전 관리형 기능을 통해 SageMaker Model Monitor는 프로덕션에서 고품질 기계 학습 모델을 유지하는 데 도움이 됩니다.
Amazon SageMaker Model Monitor는 현재 모델 훈련에 사용된 데이터와 채점을 위해 모델에 제시되는 데이터 간의 차이를 추적하고 발생된 편차에 대한 알림을 제공함으로써 데이터 감사 또는 모델 재훈련과 같은 조치를 적시에 취할 수 있게 하는 데이터 품질 드리프트 탐지 기능을 지원하고 있습니다. 오늘 당사는 SageMaker Model Monitor에 세 가지 새로운 기능을 추가했으며, 이를 통해 모델 품질, 모델 바이어스 및 피처 중요도의 드리프트를 탐지할 수 있습니다.
모델 품질 모니터링 기능은 ML 모델의 모델 특성(예: 정밀도, 정확도, 재현율 등)을 실시간으로 모니터링할 수 있습니다. SageMaker Model Monitor는 모델 예측을 실측 값 데이터와 비교함으로써 ML 모델이 얼마나 정확하게 결과를 예측하는지 보고합니다. 모델이 모니터링되면 Amazon S3, Amazon SageMaker Studio 및 SageMaker Notebook 인스턴스에서 모델 품질을 자세히 설명하고 내보낼 수 있는 보고서 및 그래프를 볼 수 있습니다. 또한 모델 품질의 드리프트가 관찰되는 경우에 알림을 수신하도록 Amazon CloudWatch를 구성할 수도 있습니다.
바이어스 모니터링은 ML 모델에서 바이어스를 정기적으로 탐지하는 데 도움이 됩니다. SageMaker Model Monitor는 바이어스 지표가 통계적으로 사전 설정된 임계값을 초과하는 수준으로 변동하는 시기를 주기적으로 확인합니다. Model Monitor의 바이어스 모니터링 기능을 사용하면 SageMaker Studio에서 지표를 보고 결과를 시각화할 수 있습니다. 또한 모델이 설정한 바이어스 지표 임계값을 초과할 때 이를 즉시 알 수 있도록 자동 알림을 구성할 수도 있습니다.
모델을 프로덕션에 배포한 후에 모델에서 특정 피처의 중요도 및 영향이 시간의 경과에 따라 변경될 수 있습니다. 모델 설명 가능성 모니터링은 ML 모델에서 수행한 예측이 모델을 훈련했을 때와 피처 및 비율이 동일한지의 여부를 이해하고 해석하는 데 도움이 됩니다. 설명 가능성 추적을 활성화하면 SageMaker Model Monitor가 상대적 피처 중요도의 드리프트를 자동으로 탐지하여 SageMaker Studio에서 시각화할 수 있으며, 다른 모든 SageMaker Model Monitor 피처에서와 같이 드리프트가 탐지되었을 때 사전 예방적으로 경고하도록 Amazon CloudWatch를 구성할 수 있습니다.
Amazon SageMaker Model Monitor는 신규 또는 기존 실시간 추론 엔드포인트에 대해 활성화할 수 있습니다. 활성화된 SageMaker Model Monitor는 예측 요청 및 응답을 Amazon S3에 저장하고 모델 예측을 사용자가 제공한 실제 또는 실측 값과 비교하며, 기본 제공 또는 사용자 지정 규칙을 실행하여 기준에 대비한 드리프트를 탐지하여 편차가 발생했을 때 알림을 제공합니다. 따라서 추가 도구를 빌드할 필요 없이 수백 개의 모델에서 데이터 품질, 모델 품질, 모델 바이어스 및 피처 중요도의 드리프트가 발생했는지의 여부를 조직 전체에서 표준화된 방식으로 모니터링할 수 있습니다. 모니터링 작업은 정기적인 주기(예를 들어, 매시간 또는 매일)로 실행하여 보고서 및 지표를 Amazon CloudWatch 및 Amazon S3에 푸시할 수 있도록 예약할 수 있습니다. 모니터링 결과는 또한 Amazon SageMaker Studio에서 육안 검사에 사용할 수 있으며, Amazon SageMaker Notebook Instance를 사용하여 결과를 추가로 분석할 수도 있습니다.