데이터 프로파일링이란 무엇인가요?

데이터 프로파일링을 사용했을 때 이점은 다음과 같습니다.

데이터 조직 강화

대기업에서는 정보를 공유하거나 유사한 내용을 포함하는 여러 데이터세트를 보유하는 경우가 흔합니다. 기업은 데이터 프로파일링을 활용하여 각 데이터 소스를 식별하고 어떤 필드가 서로 겹치는지 확인할 수 있습니다. 중복성을 파악하면 데이터를 정리하고 조직을 개선하며, 보다 효율적인 데이터 기반 프로세스를 구축하는 데 도움이 됩니다. 높은 수준의 데이터 품질 기준은 중복 작업에 따른 운영 비용을 줄이는 동시에, 기업 내 모든 데이터 기반 프로세스를 향상시킵니다.

협업 강화

데이터 프로파일링 보고서는 소유권과 계보에 대한 정보도 생성합니다. 이를 통해 조직은 누가 어떤 데이터를 소유하고 있으며, 데이터가 어디에서 비롯되었는지 더 잘 파악할 수 있습니다. 이러한 이해는 책임성을 높이고, 보다 효율적인 협업을 촉진합니다.

워크플로 간소화

데이터 프로파일링에는 메타데이터 식별과 데이터 흐름 추적을 용이하게 하는 자동화된 프로세스가 포함되어 있습니다. 데이터 분석가는 긴 수동 식별 작업에 시간을 덜 할애하고, 보다 전문적인 기술이 필요한 업무에 집중할 수 있습니다. 또한 중복되거나 부정확한 데이터를 제거하고, 사용되는 모든 데이터가 높은 품질 기준을 충족하도록 보장할 수 있습니다.

중앙 집중식 거버넌스

데이터 프로파일링은 데이터에 대한 정보를 중앙 집중화하여, 데이터가 어디에 저장되어 있는지, 누가 소유하고 있는지, 어떤 정보가 겹치는지 한눈에 파악할 수 있게 해줍니다. 이를 통해 데이터 사일로를 극복하고, 데이터 액세스를 향상시킬 수 있습니다. 데이터를 문서화하고 전체적으로 맵핑하는 포괄적 접근 방식은 조직 내 모든 구성원이 자신의 데이터를 보다 명확히 이해할 수 있도록 지원합니다. 또한 프로파일링은 서로 다른 데이터세트 간의 관계를 보여주고, 데이터가 시스템 내에서 어떻게 이동하는지 추적할 수 있게 해 주며, 이는 규제 준수에 매우 중요합니다.

여러 종류의 데이터 프로파일링 기법이 있습니다.

구조 탐색

구조 탐색 데이터 프로파일링은 데이터베이스 전체에 걸쳐 모든 데이터가 일관되도록 보장하는 전략입니다. 특정 필드의 모든 데이터를 검사하여 데이터가 올바른 형식인지, 해당 필드의 다른 모든 항목과 일관되게 구조화되어 있는지 확인합니다. 예를 들어 구조 탐색을 통해 목록에 있는 모든 휴대폰 번호의 자릿수가 동일한지 확인하고 누락되거나 호환되지 않는 값이 있는 번호에 플래그를 지정할 수 있습니다.

콘텐츠 탐색

콘텐츠 탐색 데이터 프로파일링은 데이터에서 체계적인 문제를 찾을 수 있는 전략입니다. 이러한 오류는 잘못된 값이거나 데이터베이스 내 부적절하게 구조화된 개별 요소의 형태를 띨 수 있습니다.

관계 탐색

관계 탐색 데이터 프로파일링은 서로 다른 데이터세트가 어떻게 연결되어 있는지, 어떤 데이터세트가 함께 사용되는지, 데이터세트 간 겹침이 어떤 방식인지 추적합니다. 이러한 프로파일링 방식은 먼저 메타데이터를 검사하여 데이터세트 간에 가장 중요한 관계를 파악하고 필드 간 연결 스레드의 범위를 좁혀 총체적인 관계 구조를 보여줍니다.

메타데이터 탐색

메타데이터 탐색 데이터 프로파일링은 메타데이터를 평가함으로써 예상 구조와 데이터를 비교합니다. 메타데이터 탐색을 통해 데이터가 예상대로 동작하고 작동하는지 확인합니다. 예를 들어, 특정 필드가 숫자로 표시되어야 하는데 알파벳순 응답을 받게 된 경우, 메타데이터 탐색 시 이러한 불일치를 오류로 표시하여 추가 검토를 진행합니다.

필드 기반 프로파일링

필드 기반 프로파일링은 단일 필드에서 데이터 유형과 특성이 일치하는지 확인하여 데이터 품질 문제를 식별하는 전략입니다. 이러한 접근 방식은 데이터의 불일치 또는 데이터를 왜곡할 수 있는 이상값을 식별하는 데 도움을 줍니다.

다중 필드 프로파일링은 두 개의 서로 다른 필드 간 관계를 이해하기 위해 유사한 전략을 사용합니다. 교차 필드 프로파일링 또는 교차 테이블 프로파일링이라고도 불리며, 두 필드가 서로 의존하는 데이터라면 호환되는지 검증합니다. 예를 들어, 고객 주소 목록에서 주와 우편번호가 일치하는지 확인하는 경우가 이에 해당합니다.

다음은 일반적인 데이터 프로파일링 도구와 함수입니다.

수학 함수

데이터 프로파일링의 수학적 함수는 데이터 완전성을 계산하고 데이터세트 전반에 걸쳐 존재하는 패턴을 식별하는 방법입니다. 예: 절대값, 거듭제곱, 로그 등

집계 함수

집계 함수는 행이나 열에서 여러 필드를 수집한 다음, 이를 요약하여 하나의 값으로 반환하는 데 사용됩니다. 예를 들어, 평균, 개수, 최대값, 분산 등이 있습니다.

텍스트 함수

텍스트 함수는 알파벳순 데이터 항목을 검사하여 이러한 문자열 필드의 데이터 품질을 평가하고 해당 필드와 상호 작용하는 데 도움이 되는 전략입니다. 예를 들어, find, char, trim 등이 있습니다.

날짜 및 시간 함수

날짜 및 시간 함수는 연구자가 날짜나 시간 필드를 포함한 데이터를 분석할 수 있도록 해줍니다. 특정 날짜 또는 시간을 조회하거나, 날짜 간의 차이를 계산 또는 해당 필드에서 특정 정보를 추출할 수 있습니다. 예를 들어 시간대 변환, 주어진 날짜에서 연도, 월, 일 추출 등의 작업이 있습니다.

윈도우 함수

윈도우 함수를 지원하는 데이터 프로파일링 도구를 사용하면 열 단위의 정보를 조사할 수 있습니다. 롤링 데이터 윈도우에서 크로스 컬럼 프로파일링 및 컬럼 프로파일링을 수행할 수 있습니다. 예를 들어, 롤링 윈도우 개수, 최대값 등이 있습니다.                                                                                                                                                                                                                                                                                                  

웹 함수

웹 함수는 XML 내용이 있는 문자열에서 작동합니다. 웹 서비스에 연계된 모든 데이터의 경우, 이러한 함수는 매우 효과적인 조사 도구입니다. 예를 들어, 데이터 필드를 변환하거나 JSON 객체에서 값을 추출하는 경우가 있습니다.