Функция «Качество данных AWS Glue» теперь поддерживает обнаружение аномалий и запись результатов в Каталог данных AWS Glue
Функция «Качество данных AWS Glue» теперь поддерживает обнаружение аномалий при оценке качества данных на основе Каталога и возможность записи результатов оценки в таблицы Каталога данных AWS Glue (GDC). Эти возможности работают как с заданиями ETL, так и с оценками Каталога, обеспечивая единообразный подход к контролю качества данных независимо от типа рабочего процесса.
Благодаря поддержке обнаружения аномалий в GDC вы можете выявлять неожиданные изменения в статистике данных, такие как внезапное падение отдельных значений или скачки количества строк в таблицах GDC, с помощью прогнозирования временных рядов на основе машинного обучения без написания правил с четкими пороговыми значениями. Это особенно важно для инженеров по обработке данных, отслеживающих сотни таблиц в GDC и нуждающихся в автоматическом обнаружении проблем.
Благодаря хранению результатов в GDC результаты применения правил качества данных, метрики профилирования и прогнозы аномалий (с доверительными границами) записываются обратно в таблицы GDC, формируя доступную для запросов запись всех проверок качества. Независимо от того, выполняется ли оценка в задании ETL или непосредственно в таблице Каталога, результаты можно запросить в любое время с помощью стандартного SQL.
Обнаружение аномалий функции «Качество данных AWS Glue» и хранение результатов каталога доступны во всех коммерческих регионах AWS и регионах AWS GovCloud (США).
Для начала работы ознакомьтесь с документацией по функции «Качество данных AWS Glue».