Apa itu Manajemen Data?

Praktik manajemen data mencakup pengumpulan dan distribusi data berkualitas tinggi, selain tata kelola data, untuk mengontrol akses data.

Tata kelola data mencakup kebijakan dan prosedur yang diterapkan organisasi untuk mengelola keamanan data, integritas, dan utilitas data yang bertanggung jawab. Hal itu mendefinisikan strategi manajemen data dan menentukan siapa yang dapat mengakses data apa. Kebijakan tata kelola data juga membangun akuntabilitas dalam cara tim dan individu mengakses dan menggunakan data. Biasanya, fungsi tata kelola data meliputi:

Pembuatan profil data

Profil data adalah proses diagnostik menganalisis data untuk menentukan struktur, kualitas, dan karakteristiknya. Ini adalah langkah pertama dalam memahami kumpulan data yang ada, untuk memutuskan apakah perlu refactoring atau tidak sebelum digunakan.

Garis keturunan data

Garis keturunan data melacak aliran data di seluruh organisasi. Garis garis keturunan data yang dicap waktu digunakan untuk menentukan dari mana sepotong data berasal, bagaimana data telah digunakan, dan kapan telah diubah. Proses manajemen data ini sangat penting dalam proses audit.

Katalog data

Katalog data adalah kumpulan aset data organisasi dan metadata terkait. Dengan menyimpan semua informasi terkait data dalam katalog pusat, itu menjadi registri data utama dalam organisasi. Pengguna dapat mengharapkan katalog data berisi informasi terbaru tentang semua aset data.

Keamanan data dan kontrol akses

Tata kelola data mencegah akses tidak sah ke data dan melindunginya dari kerusakan. Hal ini mencakup semua aspek perlindungan, seperti berikut:

• Mencegah pemindahan atau penghapusan data yang tidak disengaja
• Mengamankan akses jaringan untuk mengurangi risiko serangan jaringan
• Memverifikasi bahwa pusat data fisik yang menyimpan data memenuhi persyaratan keamanan
• Menjaga keamanan data bahkan saat karyawan mengaksesnya dari perangkat pribadi
• Autentikasi pengguna, otorisasi, serta pengaturan dan penegakan izin akses untuk data
• Memastikan bahwa data yang disimpan mematuhi hukum di negara tempat data disimpan
• Menambahkan lapisan kontrol tambahan untuk data sensitif

Kepatuhan data

Kebijakan kepatuhan data mengurangi risiko denda atau tindakan peraturan. Memenuhi undang-undang kepatuhan seperti GDPR dan CCPA sangat penting untuk operasi.

Kegiatan kepatuhan berfokus pada pemodelan data, kontrol perangkat lunak, dan pelatihan karyawan sehingga kepatuhan terhadap hukum terjadi di semua tingkatan. Misalnya, sebuah organisasi berkolaborasi dengan tim pengembangan eksternal untuk meningkatkan sistem datanya. Manajer tata kelola data memverifikasi bahwa semua data pribadi dihapus sebelum meneruskannya ke tim eksternal guna digunakan untuk tujuan pengujian.

Pengelolaan siklus aktif data

Manajemen siklus hidup data mengacu pada proses pengelolaan data sepanjang siklus hidupnya. 

Contohnya:

• Data harus diverifikasi pada konsumsi dan secara berkala
• Data harus disimpan untuk jangka waktu tertentu untuk tujuan audit
• Data harus dihapus ketika tidak lagi diperlukan

Manajemen kualitas data

Pengguna data berharap data cukup andal dan konsisten untuk setiap kasus penggunaan.

Manajer kualitas data mengukur dan meningkatkan kualitas data organisasi. Mereka meninjau data yang ada dan baru serta memverifikasi bahwa data tersebut memenuhi standar. Mereka mungkin juga mengatur proses manajemen data yang memblokir data berkualitas rendah agar tidak masuk ke sistem. Biasanya, standar kualitas data mengukur hal berikut:

• Apakah informasi kunci hilang, atau datanya lengkap? (misalnya, pelanggan meninggalkan informasi kontak utama)
• Apakah data memenuhi aturan pemeriksaan data dasar? (Misalnya, nomor telepon harus berupa sejumlah digit tertentu)
• Seberapa sering data yang sama muncul di sistem? (misalnya, entri data duplikat dari pelanggan yang sama)
• Apakah datanya akurat? (misalnya, pelanggan memasukkan alamat email yang salah)
• Apakah kualitas data konsisten di seluruh sistem? (misalnya, format tanggal lahir adalah dd/mm/yyyy di satu set data, tapi memiliki format mm/dd/yyyy di set data lain)

Integrasi data

Titik akhir untuk distribusi data

Untuk sebagian besar organisasi, data harus didistribusikan ke (atau dekat) berbagai titik akhir di mana data diperlukan. Ini termasuk sistem operasional, danau data, dan gudang data. Distribusi data diperlukan karena latensi jaringan. Saat data diperlukan untuk penggunaan operasional, latensi jaringan mungkin tidak cukup untuk mengirimkannya secara tepat waktu. Menyimpan salinan data dalam basis data lokal menyelesaikan masalah latensi jaringan.

Distribusi data juga diperlukan untuk konsolidasi data. Gudang data dan danau data mengonsolidasi data dari berbagai sumber untuk menyajikan tampilan informasi yang terkonsolidasi. Gudang data digunakan untuk analitik dan pengambilan keputusan, sedangkan danau data adalah hub terkonsolidasi tempat data dapat diekstrak untuk berbagai kasus penggunaan.

Mekanisme replikasi data dan dampak pada konsistensi

Mekanisme distribusi data memiliki dampak potensial pada konsistensi data dan hal ini merupakan pertimbangan penting dalam manajemen data.

Konsistensi yang kuat dihasilkan dari replikasi data yang sinkronis. Dalam pendekatan ini, saat nilai data diubah, semua aplikasi dan pengguna akan melihat nilai data yang diubah. Jika nilai baru data belum direplikasi, akses ke data diblokir sampai semua salinan diperbarui. Replikasi sinkronis memprioritaskan konsistensi daripada performa dan akses ke data. Replikasi sinkronis paling sering digunakan untuk data keuangan.

Eventual consistency dihasilkan dari replikasi asinkron data. Saat data diubah, salinan akhirnya diperbarui (biasanya dalam hitungan detik), namun akses ke salinan usang tidak diblokir. Untuk banyak kasus penggunaan, hal ini bukan masalah. Misalnya, postingan media sosial, suka, dan komentar tidak memerlukan konsistensi yang kuat. Sebagai contoh lain, jika pelanggan mengubah nomor telepon mereka dalam satu aplikasi, perubahan ini dapat dilakukan secara asinkron.

Membandingkan streaming dengan pembaruan batch

Aliran data mengalirkan perubahan data saat terjadi. Ini adalah pendekatan yang disukai jika akses ke data hampir real-time diperlukan. Data diekstrak, diubah, dan dikirim ke tujuannya segera setelah diubah.

Pembaruan batch lebih tepat ketika data harus diproses dalam batch sebelum pengiriman. Contohnya, meringkas atau melakukan analisis statistik data dan hanya mengirimkan hasilnya. Pembaruan batch juga dapat mempertahankan konsistensi internal titik waktu data jika semua data diekstrak pada titik waktu tertentu. Pembaruan batch melalui proses ekstrak, transformasi, dan muat (ETL atau ELT) biasa digunakan untuk danau data, pergudangan data, dan analitik.

Manajemen data master

Manajemen data master (MDM) mengacu pada proses pengelolaan data bisnis penting. Konsistensi data dan sinkronisasi data keduanya sangat relevan dengan MDM.

Contoh data master termasuk data pelanggan, data mitra, dan data produk. Data fundamental ini terutama persisten dan tidak sering berubah. Contoh data yang digunakan termasuk Customer Relationship Management (CRM) dan perangkat lunak Enterprise Resource Planning (ERP).

Manajemen data master sangat penting untuk memastikan keakuratannya di seluruh sistem, termasuk sinkronisasi dan integrasi data pada pembaruan.

Praktik terbaik manajemen data membentuk dasar dari strategi data yang sukses. Berikut ini adalah prinsip-prinsip manajemen data umum untuk membantu Anda membangun fondasi data yang kuat.

Kolaborasi tim

Pengguna bisnis dan tim teknis harus berkolaborasi untuk memastikan bahwa persyaratan data organisasi terpenuhi. Semua pemrosesan dan analisis data harus memprioritaskan persyaratan kecerdasan bisnis. Jika tidak, data yang dikumpulkan akan tetap tidak digunakan dengan sumber daya yang terbuang sia-sia dalam proyek manajemen data yang direncanakan dengan buruk.

Otomatisasi

Strategi manajemen data yang sukses menggabungkan otomatisasi di sebagian besar tugas pemrosesan dan persiapan data. Melakukan tugas transformasi data secara manual membosankan dan juga menimbulkan kesalahan dalam sistem. Bahkan tugas manual dalam jumlah terbatas, seperti menjalankan pekerjaan batch mingguan, dapat menyebabkan kendala sistem. Perangkat lunak manajemen data dapat mendukung penskalaan yang lebih cepat dan efisien.

Komputasi cloud

Bisnis memerlukan solusi manajemen data modern yang memberi mereka serangkaian kemampuan yang luas. Solusi cloud dapat mengelola semua aspek manajemen data dalam skala besar tanpa mengorbankan kinerja. Misalnya, AWS menawarkan berbagai fungsi, seperti basis data, danau data, analitik, aksesibilitas data, tata kelola data, dan keamanan dari dalam satu akun.