O Amazon EMR agora oferece suporte a verificações nativas de qualidade de dados em trabalhos do Apache Spark
Agora, o Amazon EMR valida a qualidade dos dados de forma nativa nas tarefas do Apache Spark. As equipes de engenharia de dados podem detectar problemas de qualidade em linha antes que dados incorretos cheguem aos sistemas posteriores, sem criar ou manter uma infraestrutura de validação separada. O Amazon EMR Data Quality, desenvolvido pelo AWS Glue, está disponível sem custo adicional e usa a mesma linguagem de regras declarativas (linguagem de definição de qualidade de dados) e APIs do AWS Glue para uma experiência consistente em ambos os mecanismos e funciona com o Apache Iceberg, o Apache Hudi e o Delta Lake nos modos de implantação EC2, EKS e com tecnologia sem servidor.
Com esse recurso, você pode criar regras de validação em seus scripts do Spark ou regras de referência armazenadas no catálogo de dados do AWS Glue e aplicá-las em qualquer estágio do seu pipeline, ou seja, após a leitura dos dados, durante a transformação ou após o processamento. Com mais de 30 tipos de regras, incluindo regras dinâmicas que se comparam com execuções históricas e detecção de anomalias baseada em ML para rastrear desvios ao longo do tempo sem especificar limites fixos, o Amazon EMR Data Quality oferece a flexibilidade de escolher a estrutura de validação que atenda às suas necessidades. Você pode realizar ações como falhar em um pipeline, filtrar registros inválidos ou encaminhá-los para a quarentena com base nos resultados da avaliação de qualidade. Os resultados são produzidos no nível do conjunto de dados, da regra e da linha, para que você possa identificar facilmente quais registros ou regras estão causando as falhas de qualidade.
O Amazon EMR Data Quality está disponível no AWS Runtime para o Apache Spark (emr-spark-8.1.0) em todas as regiões comerciais da AWS, AWS GovCloud (EUA) e AWS China.
Para começar a usar, acesse a documentação da qualidade de dados do Amazon EMR e adicione regras DQDL para validação da qualidade de dados aos scripts do Spark de suas workloads do EMR.