데이터 거버넌스란?

지금까지 데이터 거버넌스 프로그램은 데이터 유출 또는 오용을 방지하기 위해 데이터를 사일로에 가두는 역할을 해왔습니다. 그러나 데이터 사일로의 결과로, 정당한 사용자가 필요한 데이터에 액세스하기 위해 장벽을 헤쳐나가야 하는 상황이 발생합니다. 의도치 않게 데이터 기반 혁신이 억눌리게 됩니다.

MIT CDOIQ가 최고 데이터 책임자(CDO) 및 CDO급 직책을 맡은 350명을 대상으로 2024년에 시행한 설문 조사에서, CDO 중 45%는 데이터 거버넌스를 최우선 과제로 꼽는 것으로 나타났습니다. 이 데이터 리더들은 적절한 통제 수단을 마련하여 데이터를 안전하게 보호하면서도, 필요할 때 적절한 사람과 애플리케이션에 데이터를 제공할 수 있는 데이터 거버넌스 프레임워크를 구축하고자 합니다. 

액세스와 통제 간 균형을 유지

거버넌스를 혁신의 원동력으로 만드는 2가지 지렛대는 액세스와 통제입니다. 성공의 열쇠는 이 둘 사이의 적절한 균형을 찾는 데 있으며, 각 조직의 균형점은 서로 다릅니다. 과도한 통제를 행사하면 데이터가 사일로에 갇히게 되어, 사용자가 필요할 때 데이터에 액세스할 수 없게 됩니다. 이는 창의성을 억누를 뿐 아니라, 데이터를 오래되고 안전하지 않은 상태로 방치하는 섀도 IT 시스템의 생성도 초래합니다. 반대로, 너무 많은 액세스를 제공하는 경우 애플리케이션 및 데이터 저장소 전반에서 데이터가 규제되지 않으므로, 무단 액세스 위험이 증가하고 데이터 품질이 영향을 받을 수 있습니다.

데이터 거버넌스 프로세스는 액세스와 통제의 균형을 유지하여, 데이터에 대한 신뢰와 확신을 사용자에게 제공합니다. 이러한 프로세스는 적절한 검색, 큐레이션, 보호 및 데이터 공유를 촉진함으로써 데이터를 보호하는 동시에 혁신을 장려합니다.

강력한 데이터 거버넌스 전략을 수립하려면 다양한 직무 기능이 필요합니다.

경영진 후원자

이들은 조직 전체의 데이터 거버넌스 원칙, 표준 및 정책을 식별하고 수립합니다. 또한 기업 로드맵에 있는 많은 비즈니스 이니셔티브를 이해하고 있기 때문에, 데이터 거버넌스 활동을 추진하는 우선순위를 결정하는 데 도움을 줄 수 있습니다.

데이터 관리자

이들은 해당 비즈니스 소속으로 프로젝트의 일상적인 세부 사항에 관여합니다. 그리고 목표로 하는 비즈니스 이니셔티브에 어려움을 초래할 수 있는 데이터 문제를 이해하는 데 도움을 줍니다. 또한 프로젝트에서 데이터 거버넌스 프로세스를 구현하며, 데이터가 적절히 관리되도록 보장합니다. 마지막으로, 직원과 고객의 규정 준수 여부를 모니터링하며, 어떤 문제가 발생하면 해당 문제를 에스컬레이션합니다.

데이터 소유자

이들은 데이터에 관한 정책을 수립하며, 여기에는 누가 어떤 상황에서 데이터에 액세스해야 하는지, 규정을 어떻게 해석 및 적용할지, 그리고 핵심 용어의 정의 등이 포함됩니다. 또한 데이터세트의 기술 관리 및 액세스 제어를 담당합니다.

데이터 엔지니어

이들은 IT 부서 소속으로, 데이터 보호, 다양한 소스의 데이터 통합, 데이터 품질 관리, 그리고 적절한 데이터 발견을 위한 최고의 데이터 거버넌스 도구를 선택하고 구현합니다.

데이터 거버넌스에는 다양한 기능에 걸쳐 인력, 프로세스 및 기술 솔루션이 필요합니다.

무분별한 데이터 확산을 제한하기 위한 대규모 데이터 큐레이션

대규모 데이터 큐레이션은 데이터베이스, 데이터 레이크, 데이터 웨어하우스 등의 가장 귀중한 데이터 소스를 식별하고 관리하는 것을 의미합니다. 중요한 데이터 자산의 확산과 변형을 제한할 수 있습니다. 또한 데이터 큐레이션은 적절한 데이터가 정확하고 최신 상태이며 민감한 정보가 없도록 보장하는 것을 의미합니다. 이를 통해 사용자는 데이터 기반 의사 결정 및 데이터 공급 애플리케이션을 신뢰할 수 있게 됩니다.

기능: 데이터 품질 관리, 데이터 통합 및 마스터 데이터 관리

데이터를 상황에 맞게 발견하고 이해하세요.

데이터를 상황에 맞게 이해한다는 것은 모든 사용자가 데이터의 의미를 발견하고 이해하여, 비즈니스 가치를 창출하는 데 해당 데이터를 자신 있게 사용할 수 있음을 의미합니다. 중앙 집중식 데이터 카탈로그가 있으면 데이터를 쉽게 찾고, 액세스 권한을 요청하며, 데이터를 사용하여 비즈니스 결정을 내릴 수 있습니다.

기능: 데이터 프로파일링, 데이터 리니지 및 데이터 카탈로그

제어 기능을 통해 확실하게 데이터를 보호하고 안전하게 공유하세요.

데이터를 보호한다는 것은 데이터 프라이버시, 보안 및 액세스 간에 적절한 균형을 맞추는 것을 의미합니다. 비즈니스 사용자와 엔지니어링 사용자 모두를 위한 직관적인 도구를 사용하여, 조직의 경계를 넘어 데이터 액세스를 관리하는 것이 중요합니다.

기능: 데이터 수명 주기, 데이터 규정 준수 및 데이터 보안

비즈니스 위험을 줄이고 규정 준수를 개선하세요.

위험을 줄인다는 것은 데이터가 누구에 의해 어떻게 사용되는지 이해하는 것을 의미합니다. AWS 서비스는 데이터 액세스를 모니터링하고 감사하는 데 도움을 줍니다. 여기에는 데이터 보안과 규정 준수를 보장하기 위한 ML 모델을 통한 액세스도 포함됩니다. 또한 기계 학습에는 책임 있는 사용과 간소화된 보고를 보장하기 위한 감사 투명성이 필요합니다.

기능: 데이터 및 ML에 대한 사용량 감사

데이터 거버넌스는 데이터 사용량이 많은 사용 사례에서 핵심 역할을 합니다.

분석 거버넌스

분석 거버넌스는 분석 애플리케이션에서 사용할 데이터를 통제하는 동시에, 분석 시스템의 사용을 통제하는 것입니다. 분석 거버넌스 팀에서는 분석 보고서 버전 관리 및 문서화와 같은 거버넌스 메커니즘을 설정할 수 있습니다. 항상 그렇듯이, 규제 요구 사항을 추적하고, 회사 정책을 수립하며, 더 넓은 범위의 조직에 가드레일을 제공하세요.

AI 거버넌스

AI 거버넌스는 동일한 데이터 거버넌스 관행의 많은 부분을 AI 및 ML 사용 사례에 적용합니다. 데이터 품질 및 통합은 모델 훈련 및 프로덕션 배포에 필요한 데이터를 제공해야 합니다(이것의 중요한 측면 중 하나가 특성 저장소임). 책임 있는 인공 지능(AI)은 민감한 데이터를 모델 구축에 사용하는 것에 특히 주의합니다. 추가적인 AI 거버넌스 기능으로는 모델의 구축, 배포 및 모니터링에 사람들이 참여할 수 있게 하고, 모델 훈련, 버전 관리 및 지원되는 사용 사례를 문서화하고, 윤리적 모델 사용에 대한 지침을 제공하며, 프로덕션 환경에서 모델의 정확성, 드리프트, 과대 적합 및 과소 적합을 모니터링하는 것이 있습니다.

생성형 AI에는 훈련과 추론을 위한 파운데이션 모델(FM)의 적응, 생성형 AI의 유해성과 편향성에 대한 거버넌스, 그리고 파운데이션 모델 운영(FMOps)을 지원하기 위한 추가적인 데이터 거버넌스 기능(예: 데이터 품질 및 무결성)이 필요합니다.

동일한 데이터 거버넌스 프로그램으로 AI 및 ML을 지원할 수 있습니다. 데이터 준비는 AI 및 ML 모델이 훈련 및 프로덕션 추론에 사용할 수 있는 형태로 데이터를 변환하는 데 필요합니다. 그러나 가장 효율적인 데이터 준비는 아예 준비할 필요가 없게 하는 것입니다. 데이터 사이언티스트는 각 사용 사례에 맞춰 데이터를 준비하는 데 너무 많은 시간을 소모합니다. 데이터 거버넌스 팀은 이러한 획일적이고 부담스러운 작업을 줄이는 데 도움을 줄 수 있습니다. 또한 데이터 거버넌스는 AI 및 ML 사용 사례를 위한 성형된 특성 저장소의 생성을 감독할 수 있습니다.

마지막으로, 팀이 민감한 데이터를 파운데이션 모델의 훈련에 사용할 위험을 완화할 수 있도록, 민감한 데이터를 적절하게 보호해야 합니다.

분석과 마찬가지로, 구축하거나 맞춤화한 AI 및 ML 모델의 사용을 통제해야 합니다. 이상적으로는 이러한 통제가 분석 거버넌스와 긴밀히 연계되어야 합니다. 해당 부서가 다양한 비즈니스 영역을 지원하는 방법을 잘 알고 있기 때문입니다.

AWS의 엔드 투 엔드 데이터 거버넌스를 통해, 조직은 데이터 워크플로의 모든 단계에서 데이터의 위치, 데이터 액세스 권한 보유자, 그리고 데이터로 수행할 수 있는 작업에 대한 통제권을 확보합니다. AWS를 통한 데이터 거버넌스는 적합한 사람 및 애플리케이션이 필요할 때 적합한 데이터를 쉽고 안전하게 찾고, 액세스하고, 공유할 수 있도록 함으로써 조직이 데이터 기반 의사 결정 시간을 단축하는 데 도움을 줍니다. 데이터 통합 및 데이터 품질의 자동화를 통해 데이터를 선별함으로써 데이터 확산을 제한할 수 있습니다. 데이터 리터러시를 높이는 중앙 집중식 카탈로그를 통해 데이터를 검색 및 이해할 수 있습니다. 안심하고 데이터를 공유할 수 있게 해 주는 정밀한 권한 설정으로 데이터를 보호할 수 있습니다. 

데이터 액세스에 대한 모니터링과 감사를 통해 위험을 줄이고 규정 준수를 개선할 수 있습니다.

• Amazon Sagemaker Catalog(Amazon DataZone에 구축됨) – 데이터와 AI에 대한 안전한 검색, 관리 및 협업
• AWS Glue – 모든 규모의 데이터에 대한 검색, 준비 및 통합
• AWS Lake Formation – 며칠 만에 데이터 레이크를 구축, 관리 및 보호
• Amazon QuickSight – 몇 초 만에 의미 있는 인사이트를 구축, 발견 및 공유하여 인사이트를 더 빠르게 영향력으로 전환
• Amazon SageMaker – 완전 관리형 인프라, 도구 및 워크플로를 통해 사용 사례에 적합한 기계 학습 모델을 구축, 훈련 및 배포
• ML 거버넌스 웹 페이지
• Amazon Bedrock – 파운데이션 모델(FM)을 통한 생성형 AI 애플리케이션의 구축과 확장
• Amazon Macie – 민감한 데이터를 대규모로 검색 및 보호
• Amazon Simple Storage Service(Amazon S3) 액세스 포인트 – 어디서나 원하는 양의 데이터를 검색할 수 있도록 구축된 객체 스토리지
• AWS Data Exchange – 클라우드에서 서드 파티 데이터를 손쉽게 검색, 구독 및 사용
• AWS Clean Rooms – 원시 데이터를 공유하지 않고도 파트너와 협업할 수 있는 클린 룸을 몇 분 만에 생성

지금 바로 무료 계정을 생성하여 AWS에서 데이터 거버넌스를 시작하세요.