Amazon EMR supporta ora i controlli nativi della qualità dei dati nei processi Apache Spark
Amazon EMR convalida ora la qualità dei dati in modo nativo all'interno dei processi Apache Spark. I team di ingegneria dei dati possono identificare i problemi di qualità in linea prima che i dati errati raggiungano i sistemi downstream, senza dover creare o gestire un'infrastruttura di convalida separata. Amazon EMR Data Quality, basato su AWS Glue, è disponibile senza costi aggiuntivi e utilizza lo stesso linguaggio di regole dichiarative (Data Quality Definition Language) e le stesse API di AWS Glue per offrire un'esperienza coerente su entrambi i motori, con supporto per Apache Iceberg, Apache Hudi e Delta Lake attraverso le modalità di distribuzione EC2, EKS e Serverless.
Con questa funzionalità, puoi definire regole di convalida all'interno dei tuoi script Spark o fare riferimento a regole archiviate nel Catalogo dati di AWS Glue, per poi applicarle in qualsiasi fase della pipeline (ad esempio, dopo la lettura dei dati, durante la trasformazione o al termine dell'elaborazione). Con oltre 30 tipi di regole, incluse regole dinamiche per il confronto con le esecuzioni storiche e il rilevamento delle anomalie basato sul machine learning per tracciare lo scostamento nel tempo senza specificare soglie fisse, Amazon EMR Data Quality offre la flessibilità necessaria per scegliere il framework di convalida più adatto alle proprie esigenze. In base agli esiti della valutazione della qualità, puoi intraprendere azioni quali interrompere con un errore una pipeline, filtrare i record non validi o reindirizzarli in quarantena. I risultati vengono generati a livello di set di dati, di regola e di riga, consentendoti di identificare facilmente quali record o regole causano i problemi di qualità.
Amazon EMR Data Quality è disponibile nel runtime AWS per Apache Spark (emr-spark-8.1.0) in tutte le regioni AWS Commercial, AWS GovCloud (Stati Uniti) e AWS Cina.
Per iniziare, consulta la documentazione di Amazon EMR Data Quality e aggiungi le regole DQDL per la convalida della qualità dei dati agli script Spark dei tuoi carichi di lavoro EMR.