기계 학습(ML) 실무자가 더 빨리 SageMaker를 사용하여 작업을 시작할 수 있도록 사용자 지정된 역할을 생성합니다.
모델 문서를 간소화하고 개념 단계부터 배포 단계까지 주요 가정, 특성 및 아티팩트에 대한 가시성을 제공합니다.
통합 보기를 통해 모든 모델, 엔드포인트 및 모델 모니터링 작업의 성능을 신속하게 감사하고 문제를 해결합니다.
자동화된 알림을 통해 예상되는 모델 동작과 누락되거나 비활성화된 모니터링 작업의 편차를 추적합니다.
Amazon SageMaker는 ML을 책임감 있게 구현하는 데 유용한 목적별 거버넌스 도구를 제공합니다. 관리자는 Amazon SageMaker Role Manager를 사용하여 최소 권한을 몇 분 만에 정의할 수 있습니다. Amazon SageMaker Model Cards를 사용하면 개념 단계부터 배포 단계에 이르기까지 전체 수명주기에서 용도, 위험 등급 및 훈련 세부 정보와 같은 필수 모델 정보를 보다 손쉽게 캡처하고 검색하고 공유할 수 있습니다. Amazon SageMaker Model Dashboard는 프로덕션 환경에서 모델의 동작에 대한 정보를 한곳에서 제공합니다.
이 동영상에서는 SageMaker를 통해 ML 모델에 대한 가시성을 개선하는 방법을 알아봅니다.
작동 방식
Amazon SageMaker를 기반으로 한 ML 거버넌스는 SageMaker Role Manager, SageMaker Model Cards, SageMaker Model Dashboard를 사용하여 액세스 제어를 간소화하고 ML 프로젝트의 투명성을 높입니다.
Amazon SageMaker에는 Amazon SageMaker Role Manager, Amazon SageMaker Model Cards, Amazon SageMaker Model Dashboard라는 세 가지 주요 ML 거버넌스 기능이 포함되어 있습니다. 다이어그램의 첫 번째 섹션 제목은 ‘Amazon SageMaker를 사용한 ML 거버넌스’입니다. 설명은 ‘ML 프로젝트에 대한 액세스 제어를 간소화하고 투명성을 높입니다’라고 되어 있습니다.
두 번째 섹션은 SageMaker Role Manager와 관련한 온보딩 프로세스를 보여 줍니다. SageMaker Role Manager는 ML 작업의 권한 설정을 간소화하고 사용자 지정 IAM 정책을 자동으로 생성하여 몇 분 만에 최소 권한을 정의합니다.
세 번째 섹션은 모델 준비, 구축, 훈련, 배포 및 모니터링으로 이루어지는 모델 수명주기의 일부입니다. SageMaker Model Cards에서는 모델 문서를 중앙 집중화 및 표준화하고, 모델 세부 정보를 자동으로 입력하고 PDF로 내보낼 수 있습니다. SageMaker Model Dashboard에서는 통합 보기를 통해 모델 성능을 모니터링하고, 한곳에서 모델 인사이트에 액세스하고, 기본 제공되는 알림을 받을 수 있습니다.
SageMaker Model Cards와 SageMaker Model Dashboard는 모델에서 드리프트를 모니터링하는 데 사용할 수 있는 Amazon SageMaker Model Monitor, 그리고 편향을 감지하고 모델 동작을 설명하는 데 도움이 되는 Amazon SageMaker Clarify와 통합됩니다.
주요 기능
SageMaker Role Manager를 사용하여 최소 권한을 몇 분 만에 정의
ML 활동에 대한 권한 간소화
SageMaker Role Manager는 사전 구축된 AWS Identity and Access Management(IAM) 정책 카탈로그를 통해 ML 활동 및 페르소나에 대한 기본 권한 집합을 제공합니다. ML 활동에는 데이터 준비와 훈련이 포함될 수 있으며, 페르소나에는 ML 엔지니어와 데이터 사이언티스트가 포함될 수 있습니다. 기준 권한을 유지하거나 특정한 요구 사항에 따라 추가로 사용자 지정할 수 있습니다.
IAM 정책 생성 자동화
몇 가지 셀프 구성 화면을 통해 네트워크 액세스 경계, 암호화 키 등 일반적인 거버넌스 구성을 빠르게 입력할 수 있습니다. 그러면 SageMaker Role Manager가 IAM 정책을 자동으로 생성합니다. AWS IAM 콘솔을 통해 생성된 역할과 관련 정책을 검색할 수 있습니다.
관리형 정책 연결
사용 사례에 대한 권한을 추가로 사용자 지정하려면, SageMaker Role Manager에서 생성하는 IAM 역할에 관리형 IAM 정책을 연결합니다. 또한 AWS 서비스 전반에서 역할을 식별하고 구성하는 데 유용한 태그를 추가할 수 있습니다.
SageMaker Model Cards로 모델 문서 간소화
모델 정보 캡처
SageMaker Model Cards는 Amazon SageMaker 콘솔에서 모델 정보를 저장하는 리포지토리로, ML을 책임감 있게 구현할 수 있도록 모델 문서를 중앙 집중화하고 표준화하는 데 도움이 됩니다. 입력 데이터 세트, 훈련 환경 및 훈련 결과와 같은 훈련 세부 정보를 자동으로 채워 문서화 프로세스를 가속화할 수 있습니다. 모델 목적 및 성능 목표와 같은 세부 정보를 추가할 수도 있습니다.
평가 결과 시각화
편향 및 품질 지표와 같은 모델 평가 결과를 모델 카드에 첨부하고, 차트와 같은 시각화 요소를 추가하여 모델 성능에 대한 주요 인사이트를 얻을 수 있습니다.
모델 카드 공유
모델 카드를 PDF 형식으로 내보내 비즈니스 관계자, 내부 팀 또는 고객과 보다 손쉽게 공유할 수 있습니다.
SageMaker Model Dashboard로 통합 모델 모니터링 구현
모델 동작 추적
SageMaker Model Dashboard는 배포된 모델과 엔드포인트에 대한 전반적인 개요 정보를 제공하므로, 한곳에서 리소스를 추적하고 동작 위반을 모델링할 수 있습니다. 데이터 품질, 모델 품질, 편향 드리프트 및 특성 귀속 드리프트의 네 가지 차원에서 모델 동작을 모니터링할 수 있습니다. SageMaker Model Dashboard는 Amazon SageMaker Model Monitor 및 Amazon SageMaker Clearify와의 통합을 통해 동작을 모니터링합니다.
알림 자동화
SageMaker Model Dashboard는 누락되고 비활성화된 모델 모니터링 작업과 모델 동작의 편차에 대한 알림을 설정하고 수신하는 통합 환경을 제공합니다.
모델 편차 해결
개별 모델을 추가로 검사하고 시간 경과에 따라 모델 성능에 영향을 미치는 요인을 분석할 수 있습니다. 그런 다음 ML 실무자와 함께 시정 조치를 취할 수 있습니다.
고객
"United Airlines에서는 기계 학습(ML)을 활용하여 맞춤형 오퍼를 제공함으로써 고객 경험을 개선하고, 고객이 Travel Readiness Center를 사용하여 여행을 준비할 수 있도록 지원합니다. ML은 공항 운영, 네트워크 계획, 비행 일정 계획에도 적용됩니다. 팬데믹에서 벗어나는 과정에서 Amazon SageMaker는 Travel Readiness Center에서 문서 기반 모델 자동화를 사용하여 대량의 코로나 검사 증명서와 백신 카드를 처리하는 데 중요한 역할을 했습니다. Amazon SageMaker의 새로운 거버넌스 기능을 사용하면서 기계 학습 모델에 대한 제어 능력과 가시성이 향상되었습니다. SageMaker Role Manager는 IAM 역할에 연결된 각 페르소나의 기준 권한 및 ML 활동을 제공함으로써 사용자 설정 프로세스를 크게 간소화합니다. 저희 팀은 SageMaker Model Cards를 사용하여 검토를 위한 모델 정보를 능동적으로 캡처하고 공유할 수 있으며, SageMaker Model Dashboard를 사용하여 내부 ML 플랫폼인 MARS에 구축된 모델을 검색하고 볼 수 있습니다. 이러한 새로운 거버넌스 기능 덕분에 시간을 크게 절약하고 스케일 업할 수 있게 되었습니다."
Ashok Srinivas, United Airlines ML 엔지니어링 및 운영 담당 이사
"Capitec에는 여러 제품 라인에 걸쳐 다양한 ML 솔루션을 구축하는 다양한 데이터 사이언티스트가 있습니다. 저희 ML 엔지니어는 Amazon SageMaker를 기반으로 구축된 중앙 집중식 모델링 플랫폼을 관리하면서 이러한 모든 ML 솔루션의 개발과 배포를 지원합니다. 기본 도구가 없으면 추적 모델링 작업에서 문서가 분산되고 모델 가시성이 떨어지는 경향이 있습니다. SageMaker Model Cards를 사용하면 통합 환경에서 다양한 모델 메타데이터를 추적할 수 있고, SageMaker Model Dashboard에서는 각 모델의 성능을 파악할 수 있습니다. 또한 SageMaker Role Manager는 다양한 제품 라인의 데이터 사이언티스트를 위해 액세스 관리 프로세스를 간소화합니다. 이들 서비스는 모두 고객이 금융 서비스 제공업체로서 저희를 신뢰하기에 충분한 모델 거버넌스를 갖추는 데 기여하고 있습니다."
Dean Matter, Capitec Bank ML 엔지니어