Amazon SageMaker 모델 모니터

시간이 지나도 기계 학습 모델의 정확도 유지

Amazon SageMaker 모델 모니터는 프로덕션에 배포된 모델의 부정확한 예측을 자동으로 감지하고 알림을 보내 사용자가 우수한 품질의 ML(기계 학습) 모델을 유지관리할 수 있게 해줍니다.

ML 모델의 정확도는 시간이 지남에 따라 저하될 수 있으며, 이 현상을 모델 드리프트라고 합니다. 모델 피처 변경 등의 모델 드리프트를 유발할 수 있는 요소는 많습니다. ML 모델의 정확도는 개념 드리프트의 영향을 받을 수도 있습니다. 개념 드리프트는 모델 훈련에 사용되는 데이터와 추론 중 사용되는 데이터 간의 차이입니다.

Amazon SageMaker 모델 모니터는 실시간으로 모델 및 개념 드리프트를 감지하고 즉각적인 조치를 취할 수 있도록 알림을 보내, 고품질 ML 모델을 유지관리하도록 도와줍니다. 모델 및 개념 드리프트는 독립 변수와 종속 변수를 기반으로 모델의 품질을 모니터링함으로써 감지됩니다. 독립 변수(피처라고도 함)는 ML 모델에 대한 입력이고, 종속 변수는 모델의 출력입니다. 예를 들어, 은행 대출 승인을 예측하는 ML 모델에서 독립 변수는 신청자의 나이, 소득 및 신용 기록이 될 수 있고, 종속 변수는 대출 신청의 실제 결과가 됩니다. 또한 SageMaker 모델 모니터는 모델 성능 특성(예: 총 예측 수와 비교하여 정확한 예측 수를 측정하는 정확도)을 지속적으로 모니터링하므로, 이상을 해결하기 위한 조치를 취할 수 있습니다.

또한 SageMaker 모델 모니터는 Amazon SageMaker Clarify와 통합되어, 모델 바이어스 감지를 통해 ML 모델에서 잠재적 바이어스를 식별하도록 도와줍니다.

데이터 수집 및 모니터링

Amazon SageMaker 모델 모니터를 사용하면 코드를 작성하지 않고도 모니터링하고 분석할 데이터를 선택할 수 있습니다. SageMaker 모델 모니터를 사용하면 예측 출력 등의 옵션 메뉴에서 데이터를 선택하고 타임스탬프, 모델 이름, 엔드포인트 등의 메타데이터를 캡처하여 메타데이터를 기반으로 모델 예측을 분석할 수 있습니다. 대량의 실시간 예측의 경우, 데이터 캡처의 샘플링 속도를 전체 트래픽의 백분율로 지정할 수 있으며, 데이터는 사용자의 Amazon S3 버킷에 저장됩니다. 또한 이 데이터를 암호화하고, 세분화된 보안을 구성하고, 데이터 보존 정책을 정의하고, 보안 액세스를 위한 액세스 제어 메커니즘을 구현할 수 있습니다.

기본 제공 분석

Amazon SageMaker 모델 모니터는 데이터 및 모델 품질의 드리프트를 탐지할 수 있도록 기본 제공 분석을 통계 규칙의 형태로 제공합니다. 사용자 지정 규칙을 작성하고 각 규칙에 대한 임계값을 지정할 수도 있습니다. 그런 다음 이 규칙을 사용하여 모델 성능을 분석할 수 있습니다. SageMaker 모델 모니터는 수집된 데이터에 대한 규칙을 실행하고 이상을 감지하고 규칙 위반을 기록합니다.

시각화

Amazon SageMaker 모델 모니터에서 내보낸 모든 메트릭은 Amazon SageMaker Studio에 수집되고 여기서 볼 수 있으므로, 사용자는 추가 코드를 작성하지 않고도 모델 성능을 시각적으로 분석할 수 있습니다. 사용자는 메트릭을 시각화할 수도 있고, SageMaker 노트북 인스턴스에서 임시 분석을 실행하여 모델을 더 깊이 이해할 수도 있습니다.

지속적인 모델 예측

Amazon SageMaker 모델 모니터를 사용하면 모델 성능을 계산하기 위해 ML 애플리케이션에서 데이터를 수집할 수 있습니다. 데이터는 Amazon S3에 저장되며 액세스 제어, 암호화, 데이터 보존 정책을 통해 보호됩니다.

모니터링 일정

Amazon SageMaker 모델 모니터를 통해 모니터링 작업을 예약하여 ML 모델을 모니터링할 수 있습니다. 또한 지정된 기간 동안 모델 예측을 분석하기 위해 모니터링 작업을 자동으로 시작할 수 있습니다. SageMaker 엔드포인트에 여러 일정이 있을 수도 있습니다.

Amazon SageMaker Clarify와 통합

Amazon SageMaker 모델 모니터는 Amazon SageMaker Clarify와 통합되어 잠재적 바이어스에 대한 가시성을 높입니다. 초기 데이터 또는 모델에는 바이어스가 없을 수 있지만, 환경이 바뀌는 경우 시간 경과에 따라 이미 훈련된 모델에서 바이어스가 발생할 수 있습니다. 예를 들어, 주택 구매자 인구통계 정보에 상당한 변화가 발생하면, 특정 모집단이 존재하지 않는 경우 주택 대출 애플리케이션 모델에 바이어스가 생길 수 있습니다. SageMaker Clarify와 통합되면 사용자 모델에 바이어스가 발생하기 시작하는 경우 귀하에게 이를 알리도록 Amazon CloudWatch 등의 알림 시스템을 구성할 수 있습니다.

보고서 및 알림

모니터링 작업에 의해 생성된 보고서는 추가 분석을 위해 Amazon S3에 저장할 수 있습니다. Amazon SageMaker 모델 모니터는 메트릭을 Amazon CloudWatch로 내보냅니다. 여기서 알림을 사용하여 모델 재훈련 또는 데이터 감사 등의 수정 조치 또는 경보를 트리거할 수 있습니다. 메트릭에는 위반된 규칙 및 타임스탬프 정보 등의 정보가 포함되어 있습니다. 또한 SageMaker 모델 모니터는 Tensorboard, Amazon QuickSight, Tableau 등 다른 시각화 도구와 통합됩니다.

사용 사례

이상값 또는 이상

Amazon SageMaker 모델 모니터를 사용하여 예측이 예상 범위를 벗어났거나 최솟값 또는 최댓값 등의 예상되는 경계에 있을 때를 감지합니다. 예를 들어, 온도가 65°F~75°F가 될 것으로 예상할 수 있다면, 경계를 벗어난 결과는 50°F가 됩니다. 이 경계를 벗어난 결과는 이상으로 알림이 제공됩니다.

데이터 드리프트

Amazon SageMaker 모델 모니터를 사용하여 센서 노후로 인한 부정확한 센서 판독값 등 실제 조건 때문에 예측이 왜곡되는 시점을 감지합니다. Amazon SageMaker 모델 모니터는 실제 데이터를 훈련 데이터 세트 또는 평가 데이터 세트 등의 기준 데이터 세트와 비교하여 데이터 왜곡을 감지합니다.

실제 관찰

새로운 데이터가 실제에 도입되는 경우가 흔히 있기 때문에, 새로운 피처를 고려하도록 모델을 조정하고자 할 수 있습니다. 예를 들어, 자율 주행 차량이 도로에서 새로운 물체를 감지하게 하려면 자율 주행 모델을 업데이트해야 합니다. Amazon SageMaker 모형 모니터는 새로운 관찰을 감지하므로, 모형을 최신 상태로 유지할 수 있습니다.

Amazon SageMaker 모델 모니터 시작하기