AWS Glue Data Quality, 이제 이상 징후를 탐지하고 AWS Glue Data Catalog에 결과를 기록할 수 있도록 지원
AWS Glue Data Quality에서 이제 카탈로그 기반 데이터 품질 평가를 위한 이상 탐지와 평가 결과를 AWS Glue Data Catalog(GDC) 테이블에 기록하는 기능을 지원합니다. 이 기능은 ETL 작업과 카탈로그 평가 모두에서 작동하므로, 워크플로 유형에 관계없이 일관된 데이터 품질을 얻을 수 있습니다.
GDC의 이상 탐지 기능을 사용하면 명시적인 임곗값으로 규칙을 작성하지 않고도 ML 기반 시계열 예측을 사용하여 고윳값의 급격한 감소, GDC 테이블의 행 수 급증 등 데이터 통계의 예상치 못한 변화를 식별할 수 있습니다. 이는 GDC의 수백 개 테이블을 모니터링하면서 문제를 자동으로 표시해야 하는 데이터 엔지니어에게 특히 유용합니다.
GDC 내 결과 저장 기능을 통해, 데이터 품질 규칙 결과, 프로파일링 지표 및 이상 예측(신뢰 범위 포함)이 GDC 테이블에 다시 기록되므로 모든 품질 평가에 대한 쿼리 가능한 레코드가 생성됩니다. 평가가 ETL 작업에서 실행되든 카탈로그 테이블에서 직접 실행되든 관계없이 표준 SQL을 사용하여 언제든지 결과를 쿼리할 수 있습니다.
AWS Glue Data Quality 이상 탐지 및 카탈로그 결과 저장은 모든 AWS 상용 리전 및 AWS GovCloud(미국) 리전에서 사용할 수 있습니다.
시작하려면 AWS Glue Data Quality 설명서를 참조하세요.