Kualitas Data AWS Glue kini mendukung statistik distribusi untuk pembuatan profil data
Kualitas Data AWS Glue kini mendukung Distribution Analyzer baru yang menghasilkan profil distribusi frekuensi untuk data Anda. Dengan menggunakan Penganalisis Distribusi baru ini dalam Bahasa Definisi Kualitas Data (DQDL), Anda dapat menghasilkan histogram untuk kolom numerik dan distribusi nilai untuk kolom kategorikal, tanggal, dan boolean. Dengan dukungan untuk penghitungan bin kustom, Anda dapat menjelajahi bentuk dan pola data Anda pada tingkat granularitas yang paling penting untuk kasus penggunaan Anda.
Memahami bagaimana data didistribusikan merupakan hal mendasar untuk membangun pipeline data yang andal. Statistik distribusi membantu Anda dengan cepat mengidentifikasi kemiringan, outlier, dan pola yang tidak terduga di seluruh set data Anda, tanpa perlu menulis kode khusus. Kemampuan ini terintegrasi langsung dengan aturan DQDL yang sudah ada, sehingga Anda dapat menambahkan pembuatan profil distribusi bersamaan dengan pemeriksaan kualitas data Anda saat ini dalam satu kali proses evaluasi. Statistik distribusi disimpan di Amazon S3 untuk keperluan kueri di masa mendatang melalui layanan seperti Amazon Athena, dan juga ditampilkan melalui API, sehingga memudahkan integrasi wawasan distribusi ke dalam alur kerja pemantauan dan tool visualisasi, termasuk SageMaker Unified Studio.
Statistik distribusi Kualitas Data AWS Glue tersedia di semua region komersial AWS dan region AWS GovCloud (AS).
Untuk mempelajari lebih lanjut tentang Kualitas Data Glue, kunjungi dokumentasi Kualitas Data AWS Glue. Untuk mulai menggunakan Distribution Analyzer, kunjungi dokumentasi Analyzer.