Qualità dei dati di AWS Glue supporta ora il rilevamento delle anomalie e la scrittura dei risultati nel Catalogo dati AWS Glue
Qualità dei dati di AWS Glue supporta ora il rilevamento delle anomalie per le valutazioni della qualità dei dati basate sul catalogo e la possibilità di scrivere i risultati delle valutazioni nelle tabelle del Catalogo dati AWS Glue (GDC). Queste funzionalità operano sia nei job ETL sia nelle valutazioni del catalogo, offrendoti un'esperienza di qualità dei dati coerente indipendentemente dal tipo di flusso di lavoro.
Con il supporto per il rilevamento delle anomalie nel GDC, puoi identificare variazioni impreviste nelle statistiche dei dati, come cali improvvisi di valori distinti o picchi nel conteggio delle righe nelle tue tabelle del GDC, utilizzando la previsione di serie temporali basata su ML, senza scrivere regole con soglie esplicite. Ciò è particolarmente utile per gli ingegneri dei dati che monitorano centinaia di tabelle nel GDC e devono far emergere automaticamente i problemi.
Con l'archiviazione dei risultati in GDC, gli esiti delle regole di qualità dei dati, le metriche di profilazione e le previsioni delle anomalie (con limiti di confidenza) vengono scritti nelle tabelle del GDC, creando un registro interrogabile di tutte le valutazioni della qualità. Sia che la valutazione venga eseguita in un job ETL o direttamente su una tabella del catalogo, i risultati possono essere interrogati in qualsiasi momento utilizzando SQL standard.
Il rilevamento delle anomalie di Qualità dei dati di AWS Glue e l'archiviazione dei risultati nel catalogo sono disponibili in tutte le regioni AWS commerciali e nelle regioni AWS GovCloud (Stati Uniti).
Per iniziare, consulta la documentazione di Qualità dei dati di AWS Glue.