AWS Glue의 새로운 ML 기반 Glue Data Quality 기능 정식 출시 발표
새로운 AWS Glue Data Quality(Glue DQ) 기능의 정식 출시가 발표되었습니다. 이 기능은 ML 기반 이상 탐지 알고리즘을 사용하여 찾기 어려운 데이터 품질 문제와 이상 징후를 탐지합니다. 고객은 이 기능을 사용하여 데이터 품질 문제를 발생 전에 미리 파악하여 해결할 수 있습니다.
데이터 엔지니어와 분석가는 Glue DQ의 규칙을 사용하여 데이터를 측정하고 모니터링합니다. Glue DQ의 기존 규칙 기반 방식을 사용하는 경우 알려진 데이터 패턴은 탐지할 수 있지만 예기치 않은 이상 징후는 놓칠 수도 있습니다. 데이터 엔지니어와 분석가는 이제 Glue DQ의 이상 탐지 기능을 사용하여 예상치 못한 데이터 품질 문제를 손쉽게 탐지할 수 있습니다. 고객은 규칙이나 분석기를 작성한 후 Glue ETL에서 이상 탐지 기능을 켜면 이 기능을 사용할 수 있습니다. 그러면 Glue DQ가 규칙과 분석기에 지정되어 있는 열의 통계를 수집하고, ML 알고리즘을 적용하여 이상 징후를 탐지합니다. 그런 후에 탐지된 문제를 설명하는 쉽게 파악 가능한 관찰 결과 그래픽을 생성합니다. 고객은 권장 규칙을 사용하여 이상 패턴을 캡처할 수 있으며, 피드백을 제공하여 ML 모델을 조정함으로써 탐지 정확도를 높일 수 있습니다.
자세한 내용을 알아보려면 블로그를 방문하거나, 소개 비디오를 시청하거나, 해당 기능의 설명서를 참조하세요. 이 기능은 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오리건), 유럽(아일랜드), 유럽(스톡홀름), 유럽(프랑크푸르트), 아시아 태평양(싱가포르), 아시아 태평양(시드니) 및 아시아 태평양(도쿄)에서 사용할 수 있습니다.