Lewati ke Konten Utama

Apa itu Integritas Data?

Buat akun AWS
Apa itu integritas data? Apa saja tantangan dalam menjaga integritas data? Bagaimana data dilindungi di cloud? Bagaimana cara memastikan integritas data di cloud? Bagaimana AWS dapat membantu menjaga integritas data?

Apa itu integritas data?

Integritas data menekankan pentingnya menjaga integritas data, memastikan data akurat, bebas dari kesalahan, konsisten, dan berfungsi penuh sepanjang siklus hidupnya. Mempertahankan integritas data dalam satu penyimpanan data harus dapat dikelola, terlepas dari jumlah permintaan akses serta volume dan kecepatan data. Lingkungan cloud modern membutuhkan pergerakan data yang kompleks dan berkelanjutan antara layanan dan penyimpanan data yang terdistribusi. Sistem Pemrosesan Transaksi Online (OLTP) dengan throughput tinggi memerlukan pemeriksaan integritas data yang ketat untuk menjaga konsistensi sistem. Perekayasa data harus menerapkan pemeriksaan integritas data pada penyimpanan dan proses data baru dan yang sudah ada, termasuk integrasi, pencadangan, dan migrasi cloud. Artikel ini membahas berbagai tantangan dan solusi dalam pengelolaan integritas data di cloud.

Integritas data adalah proses menjaga akurasi, konsistensi, dan kelengkapan data sepanjang siklus hidupnya. Ini adalah bagian penting dari jaminan kualitas data, yang memastikan bahwa data organisasi tetap relevan dan andal untuk pemrosesan transaksi, intelijen bisnis, dan analitik. Integritas data mencakup berbagai metode dan protokol untuk memvalidasi data sambil melindungi informasi sensitif dari akses yang tidak sah.

Mengapa integritas data penting? Integritas data memastikan bahwa data organisasi tetap dapat dipercaya untuk mencatat aktivitas keuangan dan bisnis lainnya, serta untuk pengambilan keputusan. Integritas data sangat penting, terlepas dari alat dan peran yang menangani data serta transformasinya.

Integritas data sangat penting dalam sistem Pemrosesan Transaksi Online (OLTP) karena memastikan pemrosesan transaksi bisnis yang akurat, konsistensi dalam operasi keuangan, dan mencegah masalah, seperti pemesanan ganda atau transaksi yang hilang. Kegagalan dalam menjaga integritas data dapat mengakibatkan konsekuensi yang mencakup ketidakpatuhan peraturan dan penurunan kepuasan pelanggan.

Apa saja tantangan dalam menjaga integritas data?

Menjaga integritas data dalam sebuah organisasi memerlukan penanganan tantangan manajemen data terkait dengan manusia dan teknologi.

Lingkungan OLTP

Tantangan terbesar integritas data di lingkungan OLTP adalah mengelola transaksi bersamaan sambil mempertahankan konsistensi data, terutama selama operasi volume tinggi. Tantangan ini memerlukan penyeimbangan antara kepatuhan ketat terhadap prinsip Atomisitas, Konsistensi, Isolasi, dan Daya Tahan (ACID) dengan persyaratan kinerja. Dalam konteks ini, beberapa pengguna harus dapat secara bersamaan memodifikasi data yang sama, tanpa menghadapi kondisi pacu (race condition) dan kebuntuan, sambil mempertahankan kemampuan pemrosesan real-time sistem.

Inteligensi bisnis dan analitik

Untuk kasus penggunaan inteligensi bisnis dan analitik, keterbatasan integrasi antar-sumber data dan sistem mencegah perusahaan mempertahankan pandangan yang terpadu dan akurat tentang aset data mereka. Selain itu, ketergantungan pada entri dan pengumpulan data manual dapat menyebabkan kesalahan ketik, kelalaian, dan inkonsistensi yang membahayakan akurasi data.

Audit dan jejak data

Tantangan lain adalah tidak adanya jejak audit yang memadai sehingga menyulitkan pelacakan riwayat data dari pengumpulan hingga penghapusan. Organisasi berisiko kehilangan visibilitas terhadap modifikasi data yang tidak sah. Sistem warisan makin memperumit integritas data dengan menggunakan format file yang sudah usang atau tidak memiliki fungsi validasi penting. Memindahkan data ke cloud memungkinkan penerapan mekanisme kualitas data yang lebih terpusat serta mengurangi waktu dan upaya yang diperlukan untuk pemeriksaan integritas data.

Bagaimana data dilindungi di cloud?

Integritas data dapat dibagi menjadi dua jenis utama.

Integritas fisik

Proses integritas fisik melindungi data dari kerusakan dan korupsi akibat bencana alam, pemadaman listrik, kegagalan perangkat keras, atau faktor lain yang memengaruhi perangkat penyimpanan fisik. Di cloud, integritas fisik secara otomatis dikelola oleh penyedia cloud. Ini adalah tanggung jawab penyedia cloud berdasarkan Model Tanggung Jawab Bersama.

Sebagai contoh, pusat data AWS menyediakan infrastruktur keamanan data empat lapis untuk perangkat fisik yang menyimpan data Anda. Fitur keamanan data mencakup:

  • Kontrol akses ketat dengan akses ruang server yang diamankan melalui autentikasi multi-faktor dan kontrol elektronik.
  • Tindakan pencegahan intrusi, seperti deteksi otomatis terhadap penghapusan data yang tidak sah.
  • Manajemen perangkat penyimpanan yang aman mulai dari instalasi dan penyediaan hingga penghapusan instalasi dan penonaktifan.
  • Audit ketat oleh pihak ketiga berdasarkan 2.600+ persyaratan keamanan, termasuk inspeksi peralatan.

Integritas logis

Proses integritas logis memastikan bahwa data memenuhi aturan yang mendasari sistem penyimpanan tempat data berada. Integritas logis dapat diklasifikasikan lebih lanjut menjadi empat sub-jenis:

  • Integritas domain memastikan akurasi data dengan membatasi nilai dalam rentang, format, atau set tertentu (misalnya, menggunakan tipe data dan batasan data serupa lainnya).
  • Integritas entitas memastikan setiap catatan data dapat diidentifikasi secara unik melalui mekanisme, seperti kunci primer, guna mencegah nilai ganda atau nol di bidang kunci.
  • Integritas referensial menjaga konsistensi hubungan antar-tabel dengan menerapkan batasan kunci asing untuk mencegah catatan data terisolasi.
  • Integritas terdefinisi pengguna menerapkan aturan bisnis khusus di luar batasan standar, seperti logika validasi khusus atau penegakan tingkat aplikasi.

Pengguna cloud bertanggung jawab untuk menerapkan batasan integritas logis dan memastikan kualitas data. Ini adalah tanggung jawab pelanggan berdasarkan Model Tanggung Jawab Bersama.

Namun, layanan data AWS menyediakan berbagai mekanisme untuk mendukung pemeriksaan integritas data, seperti algoritma checksum, alat pemantauan kualitas data, serta pemeriksaan integritas data otomatis selama pencadangan dan sinkronisasi data.

Layanan terkelola dapat menyediakan batasan pengaman yang otomatis dan dapat dikonfigurasi untuk integritas data Anda. Dalam sistem dan basis data OLTP, proses integritas logis membantu menjaga agar setiap transaksi bersifat Atomik, Konsisten, Terisolasi, dan Tahan Lama.

Bagaimana cara memastikan integritas data di cloud?

Pertimbangkan langkah-langkah berikut untuk menerapkan integritas logis di AWS Cloud.

Menerapkan integritas data objek

Sebagian besar operasi data cloud dimulai dengan bucket Amazon S3, yang dapat menyimpan jenis data apa pun sebagai objek. Anda mungkin sering memindahkan data antara bucket Amazon S3, basis data, dan layanan cloud lain atau penyimpanan on-prem. Amazon S3 menyediakan mekanisme checksum bawaan untuk mengurangi risiko integritas data selama mengunggah, mengunduh, dan menyalin.

Checksum adalah nilai unik dengan panjang tetap yang dihasilkan dari data menggunakan algoritma tertentu. Nilai ini menciptakan sidik jari digital unik yang memungkinkan sistem mendeteksi korupsi data atau modifikasi yang tidak disengaja. Saat menyalin objek, Amazon S3 menghitung checksum objek sumber dan menerapkannya pada objek tujuan. Layanan ini akan memberikan peringatan jika terjadi ketidakcocokan. Amazon S3 mendukung checksum untuk objek penuh dan komposit untuk unggahan multipart. Checksum objek penuh mencakup seluruh file, sementara checksum komposit menggabungkan checksum tingkat bagian individu.

Gunakan fungsi checksum seperti yang dijelaskan di bawah ini.

Mengunggah

Amazon S3 mendukung beberapa algoritma Secure Hash Algorithms (SHA) dan Cyclic Redundancy Check (CRC), termasuk CRC-64/NVME, CRC-32, CRC-32C, SHA-1, dan SHA-256. Jika menggunakan Konsol Manajemen AWS, pilih algoritma checksum saat mengunggah. Jika tidak ada checksum yang ditentukan, Amazon S3 secara default akan menggunakan CRC-64/NVME.

Mengunduh

Saat mengunduh objek, minta nilai checksum yang disimpan untuk memverifikasi integritas data. Bergantung pada status unggahan (selesai atau masih berlangsung), nilai checksum dapat diambil menggunakan operasi GetObject, HeadObject, atau ListParts.

Menyalin

Jika objek disalin menggunakan operasi CopyObject, Amazon S3 menghasilkan checksum langsung untuk seluruh objek. Jika objek awalnya diunggah sebagai unggahan multipart, nilai checksum akan berubah setelah disalin, meskipun datanya tetap sama.

Menerapkan integritas pipeline data

Kasus penggunaan umum lainnya adalah memindahkan data ke danau data cloud, gudang, atau layanan basis data terkelola. Menyiapkan pemeriksaan integritas data di pipeline data tersebut bisa rawan kesalahan, membosankan, dan memakan waktu. Anda harus secara manual menulis kode pemantauan dan aturan kualitas data yang memperingatkan konsumen data ketika kualitas data memburuk.

Selama migrasi

AWS Database Migration Service (DMS) melindungi integritas data selama migrasi ke basis data AWS Cloud melalui beberapa mekanisme perlindungan dan validasi bawaan. DMS melakukan validasi otomatis untuk membandingkan data sumber dan target, serta mengidentifikasi dan menyelesaikan perbedaan melalui sinkronisasi ulang data.

DMS menyertakan fitur titik pemeriksaan dan pemulihan yang memungkinkan migrasi dilanjutkan dari kondisi valid terakhir yang diketahui jika terjadi gangguan, sekaligus menyediakan kemampuan pemantauan dan pencatatan komprehensif untuk melacak kemajuan migrasi. Selain itu, DMS memastikan keamanan data melalui enkripsi SSL untuk data bergerak dan integrasi dengan layanan keamanan AWS.

Infrastruktur basis data

Basis data AWS melindungi integritas data melalui beberapa mekanisme dan fitur komprehensif, termasuk pencadangan otomatis dan deployment multi-AZ yang memastikan daya tahan dan konsistensi data. Basis data ini menegakkan integritas referensial melalui batasan bawaan, mempertahankan kepatuhan ACID untuk konsistensi transaksional, dan menyediakan kemampuan pemulihan point-in-time. Layanan basis data terkelola, seperti Amazon Relational Database Service (RDS) dan Amazon Aurora, memungkinkan Anda mengatur kontrol khusus untuk menjaga integritas data. Misalnya, Aurora memungkinkan Anda mengatur tingkat isolasi transaksi yang berbeda pada basis data OLTP Anda.

Untuk perlindungan yang lebih lanjut, basis data AWS mendukung pemulihan bencana melalui deployment multi-wilayah, dengan mereplikasi data di sejumlah wilayah yang terdistribusi secara geografis. Integrasi dengan Amazon CloudWatch membantu mengidentifikasi dan menyelesaikan potensi masalah integritas data sebelum berdampak pada operasi.

Integrasi data

AWS Glue adalah layanan integrasi data nirserver untuk menyiapkan dan menggabungkan data di AWS Cloud. Fitur Kualitas Data AWS Glue membantu mengurangi waktu yang diperlukan untuk melakukan validasi data manual, dari hitungan hari menjadi jam. Fitur ini secara otomatis merekomendasikan aturan kualitas, menghitung statistik, serta memantau dan memperingatkan Anda saat mendeteksi data yang salah atau tidak lengkap. Fitur ini bekerja dengan Data Quality Definition Language (DQDL), bahasa khusus domain yang Anda gunakan untuk menentukan aturan integritas data.

Dalam mengumpulkan data dari sistem OLTP untuk digunakan dalam analitik, Anda dapat menggunakan pipeline AWS Glue untuk mendorong data dari basis data Anda ke layanan analitik.

Anda dapat menerbitkan metrik lebih lanjut ke Amazon CloudWatch untuk pemantauan dan peringatan.

Menerapkan integritas cadangan data

Proyek korporasi besar mungkin memiliki tim beragam yang mengambil cadangan data dan mengakses toko Amazon S3 dari berbagai lokasi. Tata kelola data menjadi tantangan dalam operasi pencadangan data terdistribusi tersebut. Perlu diketahui bahwa basis data AWS dilengkapi dengan fitur cadangan bawaan.

AWS Backup adalah layanan terkelola penuh yang memusatkan dan mengotomatiskan perlindungan data di seluruh layanan AWS, seperti Amazon Simple Storage Service (S3), Amazon Elastic Compute Cloud (EC2), Amazon FSx, dan beban kerja hibrida di VMware. Anda dapat menerapkan kebijakan perlindungan data secara terpusat untuk mengatur, mengelola, dan mengonfigurasi aktivitas pencadangan di seluruh sumber daya dan akun AWS.

AWS Backup dirancang untuk menjaga integritas data sepanjang siklus hidup data, mulai dari transmisi, penyimpanan, hingga pemrosesan. Teknologi ini menerapkan langkah-langkah keamanan ketat pada semua data yang disimpan, apa pun jenisnya, untuk memastikan perlindungan tinggi terhadap akses data yang tidak sah. Anda tetap memiliki kontrol penuh atas klasifikasi data, lokasi penyimpanan, dan kebijakan keamanan sehingga mereka dapat mengelola, mengarsipkan, dan melindungi data sesuai dengan kebutuhan mereka.

AWS Backup berkolaborasi dengan layanan AWS lainnya untuk menjaga integritas data menggunakan berbagai mekanisme. Ini termasuk:

  • Validasi checksum berkelanjutan untuk mencegah kerusakan.
  • Checksum internal untuk memverifikasi integritas data dalam transit dan saat istirahat.
  • Pemulihan redundansi otomatis jika terjadi kegagalan disk.

Data disimpan secara redundansi di beberapa lokasi fisik, dan pemeriksaan tingkat jaringan juga membantu mendeteksi kerusakan selama transfer data.

Bagaimana AWS dapat membantu menjaga integritas data?

Integritas data juga meningkatkan kepercayaan pada analitik, mendukung kepatuhan, dan memastikan data tetap bernilai sepanjang siklus hidupnya. Namun, untuk deployment on-premise, menjaga integritas data merupakan hal yang menantang dan mahal, serta dapat mengakibatkan hilangnya waktu berjam-jam akibat pekerjaan manual, terdistribusi, dan redundan.

Teknologi cloud memusatkan proses tersebut dan melakukan sebagian besar pekerjaan berat untuk Anda. Beberapa pemeriksaan integritas fisik dan logis telah tersedia secara default. Mekanisme otomatisasi menghasilkan sendiri aturan perangkat lunak yang diperlukan untuk mencapai integritas data. Perekayasa data hanya perlu mengonfigurasi pengaturan atau meninjau pekerjaan yang dilakukan oleh mekanisme otomatis tersebut. Integritas data memungkinkan sistem OLTP mempertahankan akurasi sempurna sambil menangani transaksi real-time dengan volume tinggi, yang sangat penting bagi keandalan operasional dan praktik bisnis.

Mulailah dengan membuat akun cloud gratis sekarang juga.