Annuncio dei miglioramenti del Data Quality Definition Language (DQDL) per Qualità dei dati di AWS Glue

Inserito il: 28 giu 2024

I clienti utilizzano Qualità dei dati di AWS Glue, una funzionalità di AWS Glue, per misurare e monitorare la qualità dei propri dati. Creano regole di qualità dei dati utilizzando DQDL per garantire che i loro dati siano accurati. I clienti devono poter creare regole per scenari aziendali complessi che includono condizioni di filtro, condizioni di esclusione, convalide per valori vuoti e regole composite. In precedenza, i clienti creavano elementi SQL per eseguire queste convalide della qualità dei dati nel tipo di regola CustomSQL. Adesso, AWS Glue annuncia una nuova serie di miglioramenti a DQDL che consentono ai data engineer di creare facilmente regole complesse sulla qualità dei dati utilizzando tipi di regole nativi. DQDL ora supporta

  • Operatore NOT che consente ai clienti di escludere determinati valori nella loro regola.
  • Nuove parole chiave come NULL, EMPTY e WHITESPACES_ONLY per creare regole che acquisiscono i valori mancanti senza espressioni regolari complesse.
  • Regole composite per consentire ai clienti di creare regole aziendali sofisticate. Ora possono specificare le opzioni per gestire l'ordine di valutazione di queste regole.
  • Clausola WHERE in DQDL per filtrare i dati prima di applicare le regole.

Per ulteriori informazioni, fare riferimento alla guida DQDL.

Qualità dei dati di AWS Glue è disponibile in tutte le regioni commerciali in cui è disponibile AWS Glue. Per saperne di più, visita la pagina del prodotto AWS Glue e la nostra documentazione.