Kualitas Data AWS Glue sekarang mendukung kueri pra-pemrosesan
Hari ini, AWS mengumumkan ketersediaan umum kueri prapemrosesan untuk Kualitas Data AWS Glue, memungkinkan Anda mengubah data sebelum menjalankan pemeriksaan kualitas data melalui API Katalog Data AWS Glue. Fitur ini memungkinkan Anda untuk membuat kolom turunan, memfilter data berdasarkan kondisi tertentu, melakukan perhitungan, dan memvalidasi hubungan antara
kolom langsung dalam proses evaluasi kualitas data Anda.
Kueri pra-pemrosesan memberikan fleksibilitas yang ditingkatkan untuk skenario kualitas data kompleks yang memerlukan transformasi data sebelum validasi. Anda dapat membuat metrik turunan seperti menghitung biaya total dari kolom pajak dan pengiriman, membatasi jumlah kolom yang dipertimbangkan untuk rekomendasi kualitas data atau memfilter set data untuk memfokuskan pemeriksaan kualitas pada subset data tertentu. Kemampuan ini menghilangkan kebutuhan akan langkah-langkah pra-pemrosesan data terpisah, merampingkan alur kerja kualitas data Anda.
Kueri prapemrosesan Kualitas Data AWS Glue tersedia melalui API Katalog Data AWS Glue - start-data-quality-rule-recomanddation-run dan start-data-quality-ruleset-evaluation-run, di semua AWS Region komersial tempat Kualitas Data AWS Glue tersedia. Untuk mempelajari lebih lanjut tentang kueri prapemrosesan, lihat dokumentasi Kualitas Data Glue.