Qualità dei dati di AWS Glue supporta ora le statistiche di distribuzione per la profilazione dei dati
Qualità dei dati di AWS Glue supporta ora un nuovo Distribution Analyzer che genera profili di distribuzione delle frequenze per i tuoi dati. Utilizzando questo nuovo Distribution Analyzer nel Data Quality Definition Language (DQDL), puoi generare istogrammi per le colonne numeriche e distribuzioni di valori per le colonne categoriche, di data e booleane. Grazie al supporto per un numero personalizzato di bin, puoi esplorare la forma e i pattern dei tuoi dati con il livello di granularità più adatto al tuo caso d'uso.
Comprendere come sono distribuiti i dati è fondamentale per creare pipeline di dati affidabili. Le statistiche di distribuzione ti aiutano a identificare rapidamente asimmetrie, valori anomali e pattern imprevisti nei tuoi set di dati, senza dover scrivere codice personalizzato. La funzionalità si integra direttamente con i tuoi set di regole DQDL esistenti, così puoi aggiungere la profilazione della distribuzione insieme ai controlli di qualità dei dati attuali, in un'unica esecuzione di valutazione. Le statistiche di distribuzione vengono archiviate in Amazon S3 per consentire l'esecuzione di query successive tramite servizi come Amazon Athena, e sono inoltre rese disponibili tramite API, semplificando l'integrazione degli approfondimenti sulla distribuzione nei flussi di lavoro di monitoraggio e negli strumenti di visualizzazione, incluso SageMaker Unified Studio.
Le statistiche di distribuzione di Qualità dei dati di AWS Glue sono disponibili in tutte le regioni AWS commerciali e nelle regioni AWS GovCloud (Stati Uniti).
Per saperne di più su Qualità dei dati di AWS Glue, consulta la documentazione di Qualità dei dati di AWS Glue. Per iniziare a utilizzare Distribution Analyzer, consulta la documentazione di Analyzers.