게시된 날짜: Nov 10, 2021
Amazon SageMaker Inference는 이제 프로덕션 환경의 기계 학습 모델을 업데이트할 수 있는 신규 모델 배포 옵션을 지원합니다. 신규 배포 가드 레일을 사용하여 프로덕션 환경에 있는 현재 모델에서 제어되는 방식의 새로운 모델로 쉽게 전환할 수 있습니다. 이번 출시로 canary와 선형 트래픽 전환 모드를 도입하여 업데이트 하는 동안 현재 모델에서 새로운 모델로 트래픽을 전환하는 것에 대해 세분화된 제어를 할 수 있습니다. 자동 롤백 같은 내장된 보호 장치로 초기에 문제를 포착하고 중요한 프로덕션에 영향을 초래하기 전에 자동으로 교정하는 조취를 취할 수 있습니다.
Amazon SageMaker는 기계 학습(ML)을 위해 특별히 구축된 다양한 일련의 기능을 함께 제공함으로써 개발자와 데이터 사이언티스트가 고품질 기계 학습 모형을 빠르게 준비, 구축, 훈련 및 배포할 수 있게 도움을 주는 완전관리형 서비스입니다. Amazon SageMaker에 훈련된 기계 학습 모델을 배포 시, 엔드포인트를 프로비저닝, 패치, 업데이트하는 것을 처리하기 때문에 기계 학습으로 애플리케이션을 향상시키는 데 집중할 수 있습니다. 엔드포인트를 새로운 버전의 기계학습 모델이나 지원하는 컨테이너로 업데이트해야 할 때, SageMaker는 업데이트를 포함한 새로운 플릿(그린 플릿)을 제공하며 기존 플릿(블루 플릿)에서 한 번에 트래픽을 전환하는데 이를 블루-그린 배포라고 합니다. 엔드포인트는 업데이트 진행 중에도 요청에 응답할 수 있어 가용성을 극대화합니다.
이번 출시에서 Amazon SageMaker는 canary와 선형 트래픽 전환 모드를 블루-그린 배포에 추가합니다. 이러한 모드는 플릿 간 트래픽 전환 시 더욱 세분화된 제어를 제공하여 트래픽을 보내기 전에 신뢰도를 높일 수 있습니다. 또한 대기 시간이나 오류율 같은 지표로 CloudWatch 경보를 지표에 따라 사전 지정할 수 있으며, 이러한 경보가 울리면 자동으로 배포를 블루 플릿에 롤백할 수 있습니다. canary 모드에서는 약간의 트래픽을 그린 플릿(canary 플릿이라고 함)으로 이동하고, 일정 기간(베이킹 기간이라고 함) canary 플릿의 동작을 관찰하고, 베이킹 기간 동안 아무 경보도 트리거 되지 않을 때만 잔여 트래픽을 이동할 수 있습니다. 선형 모드에서는 설정 가능한 고정 증가분(예: 10%)만큼 그린 플릿으로 트래픽 이동을 하고, 다음 증가분을 이동하기 전에 베이킹 기간 동안 동작을 관찰합니다. 모든 블루-그린 배포를 사용하여 모든 트래픽이 전환된 후(최종 베이킹 기간이라고 함) 블루 플릿을 종료하기 전에 플릿을 관찰할 수 있습니다. 이러한 트래픽 전환 모드는 새로운 모델을 프로덕션에 도입 시 위험을 관리하는 것과 업데이트 기간을 제어하는 것 사이의 균형을 맞추는 데 도움이 되므로, 사용 사례에 맞는 옵션을 선택할 수 있습니다. 일괄 트래픽 전환은 업데이트 기간을 최소화하고 선형 모드는 여러 단계로 트래픽을 전환시킴으로써 새로운 모델을 프로덕션에 도입 시 위험을 최소화합니다. canary 모드는 모든 트래픽을 2단계로 전환하며 리스크와 업데이트 간격 간 균형을 제공합니다.