La qualità dei dati di AWS Glue ora supporta le query di pre-elaborazione
Oggi AWS rende disponibile al pubblico le query di pre-elaborazione per la qualità dei dati di AWS Glue, che permette di trasformare i dati prima di eseguire i controlli di qualità dei dati attraverso le API di del catalogo dati AWS Glue. Questa funzionalità permette di creare colonne derivate, filtrare i dati secondo condizioni specifiche, eseguire calcoli e validare le relazioni tra
colonne direttamente nel processo di valutazione della qualità dei dati.
Le query di pre-elaborazione offrono una maggiore flessibilità per scenari complessi di qualità dei dati che richiedono la trasformazione dei dati prima della validazione. Puoi creare metriche derivate come il calcolo delle commissioni totali a partire dalle colonne relative a tasse e spedizione, limitare il numero di colonne considerate per i suggerimenti sulla qualità dei dati oppure filtrare i set di dati per concentrare i controlli di qualità su sottoinsiemi specifici. Questa funzionalità elimina la necessità di fasi separate di pre-elaborazione dei dati, semplificando i flussi di lavoro relativi alla qualità dei dati.
Le query di pre-elaborazione della qualità dei dati di AWS Glue sono disponibili attraverso le API del catalogo dati AWS Glue (start-data-quality-rule-recommendation-run e start-data-quality-ruleset-evaluation-run) in tutte le regioni AWS commerciali in cui viene fornita la qualità dei dati di AWS Glue. Per maggiori informazioni sulle query di pre-elaborazione, consulta la documentazione della qualità dei dati di AWS Glue.