게시된 날짜: Nov 26, 2023
AWS Glue는 ML 기반 이상 탐지 알고리즘을 사용하여 찾기 어려운 데이터 품질 문제 및 이상 징후를 탐지하는 새로운 Glue Data Quality 기능의 평가판을 발표했습니다. 이를 통해 고객은 품질 문제를 사전에 파악하고 해결하여 데이터 사용자가 확신을 갖고 비즈니스 결정을 내리도록 지원할 수 있습니다.
데이터 엔지니어와 분석가는 데이터를 측정하고 모니터링하는 데이터 품질 규칙을 작성합니다. 규칙은 데이터에 대해 무엇을 기대해야 하는지 알고 있을 때 효과를 발휘합니다. 그러나 누락 값의 급격한 증가나 레코드 수의 급격한 감소와 같은 비정상적인 패턴은 규칙으로 파악할 수 없습니다. 이제 이 새로운 기능 덕분에 데이터 엔지니어와 분석가는 이상 탐지 알고리즘을 활성화하여 시간 경과에 따른 데이터 통계를 분석하고 이러한 비정상적인 패턴에 대한 인사이트를 얻을 수 있습니다. 아울러 이 새로운 기능은 지속적인 모니터링을 위해 데이터 파이프라인에 손쉽게 추가할 수 있는 규칙을 추천합니다. 자세한 내용은 블로그와 설명서에서 확인하세요.
이 새로운 기능은 미국 동부(오하이오), 미국 동부(버지니아 북부), 미국 서부(오레곤), 아시아 태평양(도쿄), 유럽(아일랜드)의 AWS 리전에서 평가판으로 제공됩니다.