AWS Glue Data Quality, 이제 전처리 쿼리 지원
오늘 AWS는 AWS Glue Data Quality의 전처리 쿼리를 정식 출시한다고 발표했습니다. 이 기능을 이용하면 AWS Glue Data Catalog API를 통해 데이터 품질 검사를 실행하기 전에 데이터를 변환할 수 있습니다. 이 기능을 사용하면 데이터 품질 평가 프로세스 내에서 직접 파생 열을 생성하고, 특정 조건에 따라 데이터를 필터링하고,
계산을 수행하고, 열 간의 관계를 검증할 수 있습니다.
전처리 쿼리는 검증 전에 데이터를 변환해야 하는 복잡한 데이터 품질 시나리오를 위한 뛰어난 유연성을 제공합니다. 사용자는 파생된 지표를 만들어 세금 및 배송 열에서 총 수수료를 계산하거나, 데이터 품질 권장 사항에 고려되는 열 수를 제한하거나, 특정 데이터 하위 집합에 대한 품질 검사에 초점을 맞추도록 데이터세트를 필터링할 수 있습니다. 이 기능을 사용하면 별도의 데이터 전처리 단계가 필요 없기 때문에 데이터 품질 워크플로가 간소화됩니다.
AWS Glue Data Quality 전처리 쿼리는 AWS Glue Data Quality가 제공되는 모든 상용 AWS 리전에서 AWS Glue Data Catalog API(start-data-quality-rule-recommendation-run 및 start-data-quality-ruleset-evaluation-run)를 통해 사용할 수 있습니다. 쿼리 전처리에 대해 자세히 알아보려면 Glue Data Quality 설명서를 참조하세요.