Amazon EMR, 이제 Apache Spark 작업에서 기본 데이터 품질 검사 지원
Amazon EMR은 이제 Apache Spark 작업 내에서 기본적으로 데이터 품질을 검증합니다. 데이터 엔지니어링 팀은 별도의 검증 인프라를 구축하거나 유지하지 않고도 잘못된 데이터가 다운스트림 시스템에 도달하기 전에 품질 문제를 인라인으로 파악할 수 있습니다. AWS Glue로 구동되는 Amazon EMR Data Quality는 추가 비용 없이 사용할 수 있으며, 두 엔진 모두에서 일관된 경험을 제공하기 위해 AWS Glue와 동일한 선언적 규칙 언어(데이터 품질 정의 언어)와 API를 사용합니다. Apache Iceberg, Apache Hudi, Delta Lake의 EC2, EKS, Serverless 배포 모드에서 작동합니다.
이 기능을 사용하면 Spark 스크립트에서 검증 규칙을 작성하거나 AWS Glue Data Catalog에 저장된 규칙을 참조하여 파이프라인의 모든 단계(데이터를 읽은 후, 변환 중 또는 처리 후)에 적용할 수 있습니다. 고정된 임곗값을 지정하지 않고 시간 경과에 따라 드리프트를 추적할 수 있는 ML 기반 이상 탐지와 과거 실행을 기준으로 비교하는 동적 규칙 등, 30개 이상의 규칙 유형을 갖춘 Amazon EMR Data Quality는 필요에 따라 검증 프레임워크를 선택할 수 있는 유연성을 보장합니다. 품질 평가 결과에 따라 파이프라인 중단, 잘못된 레코드 필터링, 해당 레코드 격리 등의 조치를 취할 수 있습니다. 결과는 데이터세트, 규칙, 행 수준에서 생성되므로 품질 실패의 원인이 되는 레코드 또는 규칙을 쉽게 알아낼 수 있습니다.
Amazon EMR Data Quality는 모든 AWS 상용 리전, AWS GovCloud(미국) 리전, AWS 중국 리전의 Apache Spark용 AWS 런타임(emr-spark-8.1.0)에서 사용할 수 있습니다.
시작하려면 Amazon EMR Data Quality 설명서를 참조하고, EMR 워크로드의 Spark 스크립트에 데이터 품질 검증을 위한 DQDL 규칙을 추가하세요.