Amazon EMR kini mendukung pemeriksaan kualitas data asli dalam pekerjaan Apache Spark
Amazon EMR kini memvalidasi kualitas data secara asli di dalam job Apache Spark. Tim rekayasa data dapat mendeteksi masalah kualitas secara langsung sebelum data yang buruk mencapai sistem hilir, tanpa perlu membangun atau memelihara infrastruktur validasi terpisah. Amazon EMR Data Quality, yang didukung oleh AWS Glue, tersedia tanpa biaya tambahan dan menggunakan bahasa aturan deklaratif (Data Quality Definition Language) dan API yang sama dengan AWS Glue untuk pengalaman yang konsisten di kedua mesin, serta bekerja dengan Apache Iceberg, Apache Hudi, dan Delta Lake di seluruh mode deployment EC2, EKS, dan Nirserver.
Dengan fitur ini, Anda dapat membuat aturan validasi dalam skrip Spark Anda atau merujuk aturan yang tersimpan di Katalog Data AWS Glue, lalu menerapkannya di setiap tahap pipeline Anda, yaitu setelah membaca data, selama transformasi, atau setelah pemrosesan. Dengan lebih dari 30 jenis aturan, termasuk aturan dinamis yang membandingkan dengan data historis dan deteksi anomali berbasis ML untuk melacak pergeseran dari waktu ke waktu tanpa menentukan ambang batas tetap, Amazon EMR Data Quality memberikan fleksibilitas dalam memilih kerangka kerja validasi yang sesuai dengan kebutuhan Anda. Anda dapat mengambil tindakan seperti menggagalkan pipeline, memfilter data yang tidak valid, atau mengarahkannya ke karantina berdasarkan hasil evaluasi kualitas. Hasil disajikan pada tingkat set data, aturan, dan baris, sehingga Anda dapat dengan mudah mengidentifikasi catatan atau aturan mana yang menyebabkan kegagalan kualitas.
Amazon EMR Data Quality tersedia di runtime AWS untuk Apache Spark (emr-spark-8.1.0) di semua Region AWS Commercial, AWS GovCloud (AS), dan AWS Tiongkok.
Untuk memulai, kunjungi dokumentasi Amazon EMR Data Quality dan tambahkan aturan DQDL untuk validasi kualitas data ke dalam skrip Spark pada beban kerja EMR Anda.