Amazon EMR теперь поддерживает встроенные проверки качества данных в заданиях Apache Spark
Теперь Amazon EMR выполняет встроенную проверку качества данных непосредственно в заданиях Apache Spark. Команды по работе с данными могут выявлять проблемы с качеством прямо в процессе обработки, прежде чем некорректные данные попадут в последующие системы, не создавая или не поддерживая отдельную инфраструктуру проверки. Amazon EMR Data Quality на базе AWS Glue доступен без дополнительной оплаты и использует тот же язык декларативных правил (язык определения качества данных, Data Quality Definition Language) и API, что и AWS Glue, что обеспечивает единообразную работу с обоими движками и работает с Apache Iceberg, Apache Hudi и Delta Lake в режимах развертывания EC2, EKS и без сервера.
С помощью этой функции вы можете создавать правила проверки в скриптах Spark или справочные правила, хранящиеся в Каталоге данных AWS Glue, а затем применять их на любом этапе конвейера, то есть после чтения данных, преобразования или обработки. Amazon EMR Data Quality предлагает более 30 типов правил, включая динамические правила, сравниваемые с историческими запусками, и обнаружение аномалий на основе машинного обучения для отслеживания изменений во времени без указания фиксированных пороговых значений. Amazon EMR Data Quality позволяет гибко выбирать платформу проверки, соответствующую вашим потребностям. По результатам проверки качества можно, например, завершить конвейер с ошибкой, отфильтровать недопустимые записи или направить их в карантин. Результаты формируются на уровне набора данных, правила и строки, что позволяет легко определить, какие записи или правила привели к сбою проверки.
Сервис Amazon EMR Data Quality доступен в среде выполнения AWS для Apache Spark (emr-spark-8.1.0) во всех коммерческих регионах AWS, AWS GovCloud (США) и регионах AWS в Китае.
Для начала работы ознакомьтесь с документацией по Amazon EMR Data Quality и добавьте правила DQDL для проверки качества данных в скрипты Spark рабочих нагрузок EMR.