Kualitas Data AWS Glue kini mendukung deteksi anomali dan penulisan hasilnya ke Katalog Data AWS Glue
Kualitas Data AWS Glue kini mendukung deteksi anomali untuk evaluasi kualitas data berbasis Katalog dan kemampuan untuk menulis hasil evaluasi ke tabel Katalog Data AWS Glue (GDC). Kemampuan ini berfungsi di seluruh pekerjaan ETL dan evaluasi Katalog, memberi Anda pengalaman kualitas data yang konsisten terlepas dari jenis alur kerja.
Dengan dukungan deteksi anomali untuk GDC, Anda dapat mengidentifikasi perubahan tak terduga dalam statistik data seperti penurunan mendadak pada nilai unik atau lonjakan jumlah baris dalam tabel GDC Anda menggunakan peramalan deret waktu berbasis ML, tanpa perlu menulis aturan dengan ambang batas eksplisit. Ini sangat berharga terutama bagi para insinyur data yang memantau ratusan tabel di GDC dan perlu menemukan masalah secara otomatis.
Dengan penyimpanan hasil di GDC, hasil aturan Kualitas Data, metrik pembuatan profil, dan prediksi anomali (dengan batas kepercayaan) ditulis kembali ke tabel GDC, sehingga menciptakan catatan yang dapat dicari dari semua evaluasi kualitas. Baik evaluasi dijalankan dalam pekerjaan ETL atau langsung pada tabel Katalog, hasilnya dapat ditanyakan kapan saja menggunakan SQL standar.
Deteksi anomali Kualitas Data AWS Glue dan penyimpanan hasil Katalog tersedia di semua region komersial AWS dan region AWS GovCloud (AS).
Untuk memulai, kunjungi dokumentasi Kualitas Data AWS Glue.