Представляем усовершенствования языка определения качества данных (DQDL) для функции «Качество данных AWS Glue»
Клиенты используют Качество данных AWS Glue, функцию AWS Glue, для измерения и мониторинга качества своих данных. Они создают правила качества данных, используя язык DQDL, чтобы обеспечить точность своих данных. Клиентам необходима возможность создавать правила для сложных бизнес-сценариев, которые включают условия фильтрации, условия исключения, проверку пустых значений и составные правила. Ранее клиенты создавали SQL-запросы для этих проверок качества данных в правилах типа CustomSQL. Сегодня AWS Glue объявляет о новом наборе усовершенствований DQDL, которые позволяют инженерам по обработке данных легко создавать сложные правила качества данных с использованием собственных типов правил. DQDL теперь поддерживает следующее.
- Оператор NOT, разрешающий клиентам исключать определенные значения из своего правила.
- Новые ключевые слова, такие как NULL, EMPTY и WHITESPACES_ONLY, для создания правил, фиксирующих недостающие значения, без использования сложных регулярных выражений.
- Составные правила, позволяющие клиентам создавать сложные бизнес-правила. Теперь они могут указать параметры для управления порядком вычисления этих правил.
- Предложение WHERE в DQDL для фильтрации данных перед применением правил.
Дополнительные сведения см. в руководстве по DQDL.
Функция «Качество данных AWS Glue» доступна во всех коммерческих регионах, где доступен сервис AWS Glue. Чтобы узнать больше, посетите страницу продукта AWS Glue и ознакомьтесь с нашей документацией.