AWS Glue Data Quality agora oferece suporte ao pré-processamento de consultas
Hoje, a AWS anuncia a disponibilidade geral de consultas de pré-processamento para o AWS Glue Data Quality, permitindo transformar seus dados antes de executar verificações de qualidade de dados por meio das APIs do Catálogo de Dados do AWS Glue. Esse atributo permite criar colunas derivadas, filtrar dados com base em condições específicas, realizar cálculos e validar relacionamentos entre
colunas diretamente no seu processo de avaliação da qualidade de dados.
As consultas de pré-processamento oferecem maior flexibilidade para cenários complexos de qualidade de dados que exigem transformação de dados antes da validação. Você pode criar métricas derivadas, como calcular as taxas totais das colunas de impostos e frete, limitar o número de colunas consideradas para recomendações de qualidade de dados ou filtrar conjuntos de dados para concentrar as verificações de qualidade em subconjuntos de dados específicos. Esse recurso elimina a necessidade de etapas separadas de pré-processamento de dados, simplificando seus fluxos de trabalho de qualidade de dados.
As consultas de pré-processamento do AWS Glue Data Quality estão disponíveis por meio das APIs do Catálogo de Dados do AWS Glue, start-data-quality-rule-recommendation-run e start-data-quality-ruleset-evaluation-run, em todas as regiões comerciais da AWS que oferecem o AWS Glue Data Quality. Para saber mais sobre o pré-processamento de consultas, consulte a documentação do Glue Data Quality.