Качество данных AWS Glue теперь поддерживает запросы предварительной обработки
Сегодня AWS объявляет об общей доступности функции запросов предварительной обработки для Качества данных AWS Glue. Она позволяет преобразовывать данные перед запуском проверок качества через API-интерфейсы Каталога данных AWS Glue. Теперь вы можете создавать производные столбцы, фильтровать данные на основе определенных условий, выполнять вычисления и проверять взаимосвязи между
столбцами в процессе оценки качества данных.
Запросы предварительной обработки обеспечивают гибкость в сложных сценариях, требующих преобразования данных перед проверкой их качества. Вы можете создавать вычисляемые метрики, например, рассчитывать общую сумму сборов по столбцам «налог» и «доставка», ограничивать количество столбцов, учитываемых при формировании рекомендаций по качеству данных, или фильтровать наборы данных для проверки качества только нужных подмножеств данных. Отдельные этапы предварительной обработки больше не нужны, что упрощает процессы обеспечения качества данных.
Запросы предварительной обработки в сервисе Качество данных AWS Glue доступны через API Каталога данных AWS Glue (start-data-quality-rule-recommendation-run и start-data-quality-ruleset-evaluation-run) во всех коммерческих регионах AWS, где предоставляется сервис Качество данных AWS Glue. Сведения о запросах предварительной обработки см. в документации по Качеству данных AWS Glue.