Amazon SageMaker 섀도우 테스트 기능 – ML 모델 변형 간 추론 성능 비교

기계 학습(ML) 워크로드를 제작 환경으로 옮길 때에는 배포 모델을 지속적으로 모니터링하고, 모델 성능의 편차가 발견되면 이를 처음부터 다시 수행해야 합니다. 신규 모델을 구축할 때는 일반적으로 기간별 추론 요청 데이터를 사용하여 오프라인에서 모델 검증을 시작합니다. 그러나 이 데이터는 때때로 현재의 실제 상황을 설명하지 못합니다. 예를 들어 제품 추천 모델에서 아직 보지 못한 신제품이 트렌드가 될 수 있습니다. 아니면, 사용자가 이전에 모델을 노출한 적이 없는 제작 환경에서 추론 요청의 양이 갑자기 급증하는 것을 경험할 수도 있습니다.

오늘 Amazon SageMaker의 섀도우 테스트 지원을 발표하게 되어 매우 기쁩니다!

섀도우 모드에서 모델을 배포하면 제작 모델에 대한 실시간 추론 요청의 사본을 신규(섀도우) 모델로 라우팅하여 보다 총체적인 테스트를 수행할 수 있습니다. 하지만 제작 모델의 응답만 호출 애플리케이션에 반환됩니다. 섀도우 테스팅은 모델에 대한 신뢰도를 높이고 잠재적 구성 오류와 성능 문제가 최종 사용자에게 영향을 미치기 전 파악하는 데 유용합니다. 섀도우 테스트를 완료하면 SageMaker 추론 엔드포인트용 배포 가드레일을 사용하여 제작 환경에서 모델을 안전하게 업데이트할 수 있습니다.

Amazon SageMaker 섀도우 테스팅 시작하기
새로운 SageMaker 추론 콘솔 및 API를 사용하여 섀도우 테스트를 생성할 수 있습니다. 섀도우 테스트는 섀도우 테스트 결과를 설정, 모니터링, 확인 및 조치하기 위한 완전 관리형 환경을 제공합니다. SageMaker 엔드포인트를 중심으로 구축한 기존 워크플로가 있다면 기존 SageMaker 추론 API를 사용하여 섀도우 모드에서 모델을 배포할 수도 있습니다.

SageMaker 콘솔에서 추론 및 섀도우 테스트를 선택하여 섀도우 테스트를 생성, 모니터링 및 배포합니다.

섀도우 테스트를 생성하려면 테스트하려는 기존 (또는 신규) SageMaker 엔드포인트 및 제작 변형을 선택합니다.

다음으로 섀도우 변형으로 전송할 트래픽의 비율, 평가하려는 비교 지표 및 테스트 기간을 구성합니다. 또한 제작 및 섀도우 변형에 대한 데이터 캡처를 활성화할 수 있습니다.

이것으로 완료되었습니다. SageMaker는 이제 섀도우 모드에서 새 변형을 자동으로 배포하고 추론 요청의 사본을 동일한 엔드포인트 내에서 실시간으로 라우팅합니다. 다음 다이어그램은 이 워크플로를 보여줍니다.

제작 변형의 응답만 호출 애플리케이션에 반환됨에 주의하십시오. 오프라인 비교를 위해 섀도우 변형의 응답을 삭제 또는 로깅하도록 선택할 수 있습니다.

섀도우 테스트를 사용하여 제공 컨테이너 또는 ML 인스턴스를 비롯한 제작 변형의 모든 구성 요소에 대한 변경 사항을 검증할 수도 있습니다. 이는 서빙 컨테이너의 새 프레임워크 버전으로 업그레이드하거나, 패치를 적용하거나, 이러한 변경으로 인한 지연 시간이나 오류율에 영향을 미치지 않도록 하려는 경우에 유용할 수 있습니다. 마찬가지로 다른 ML 인스턴스 유형(예:Amazon EC2 C7g 인스턴스 (AWS Graviton 프로세서 기반), 또는 EC2 G5 인스턴스)으로의 이전을 고려한다면 출시 전에 섀도우 테스트를 사용하여 프로덕션 트래픽의 성능을 평가할 수 있습니다.

섀도우 테스트의 진행 상황, 그리고 지연 시간 및 오류율과 같은 성능 지표를 라이브 대시보드를 통해 모니터링할 수 있습니다. SageMaker 콘솔에서 추론 및 섀도우 테스트를 선택한 다음 모니터링하려는 섀도우 테스트를 고릅니다.

섀도우 모델을 제작 환경으로 승격하려면 섀도우 변형 배포를 선택하고 섀도우 변형을 배포할 인프라 구성을 정의합니다.

업데이트에 선형 또는 canary 트래픽 이동 모드 및 자동 롤백을 추가하려는 경우에도 SageMaker 배포 가드레일을 사용할 수 있습니다.

가용성 및 요금
SageMaker는 섀도우 테스트를 현재 AWS GovCloud(미국) 리전 및 AWS 중국 리전을 제외하고 SageMaker 호스팅을 사용할 수 있는 모든 AWS 리전에서 사용하도록 지원합니다.

SageMaker 섀도우 테스트에는 프로비저닝된 ML 인스턴스 및 ML 스토리지에 대한 사용 요금 외에 섀도우 변형 호스팅을 위한 추가 요금이 부과되지 않습니다. ML 인스턴스 및 ML 스토리지 차원의 요금은 실시간 추론 옵션과 동일합니다. 섀도우 배포 내외부에서 처리하는 데이터의 경우 추가 요금이 부과되지 않습니다. 세부 정보는 요금 페이지에서 확인할 수 있습니다.

자세한 내용은 Amazon SageMaker 섀도우 테스팅을 참조하십시오.

지금 SageMaker 섀도우 테스트로 새 ML 모델 검증을 시작해 보십시오!

— Antje