AWS Glue Data Quality를 위한 데이터 품질 정의 언어(DQDL) 개선 사항 발표
게시된 날짜:
2024년 6월 28일
고객은 AWS Glue의 기능인 AWS Glue Data Quality를 사용하여 데이터의 품질을 측정하고 모니터링합니다. 또한 데이터의 정확성을 보장하기 위해 DQDL을 사용하여 데이터 품질 규칙을 작성합니다. 고객은 필터 조건, 제외 조건, 빈 값에 대한 검증, 복합 규칙을 포함하는 복잡한 비즈니스 시나리오에 대한 규칙을 작성할 수 있는 기능이 필요합니다. 지금까지는 고객이 SQL을 작성하여 CustomSQL 규칙 유형에서 이러한 데이터 품질 검증을 수행했습니다. 오늘 AWS Glue는 데이터 엔지니어가 기본 규칙 유형을 사용하여 복잡한 데이터 품질 규칙을 쉽게 작성할 수 있는 DQDL의 일련의 새로운 개선 사항을 발표했습니다. DQDL은 이제 다음을 지원합니다
- 고객이 규칙에서 특정 값을 제외할 수 있는 NOT 연산자
- 복잡한 정규식 없이 누락된 값을 캡처하는 규칙을 작성하기 위한 NULL, EMPTY, WHITESPACES_ONLY 등의 새 키워드
- 고객이 정교한 비즈니스 규칙을 작성할 수 있는 복합 규칙. 이제 이러한 규칙의 평가 순서를 관리하는 옵션을 지정할 수 있습니다.
- 규칙을 적용하기 전에 데이터를 필터링하는 DQDL의 WHERE 절
자세한 내용은 DQDL 가이드에서 확인하세요.
AWS Glue Data Quality는 AWS Glue가 제공되는 모든 상용 리전에서 사용할 수 있습니다. 자세히 알아보려면 AWS Glue 제품 페이지와 설명서로 이동하세요.