ما المقصود بتكامل البيانات؟

لضمان سلامة البيانات في المؤسسة، لا بد من التعامل مع تحديات إدارة البيانات على المستويين البشري والتقني.

بيئات OLTP

يتمثل التحدي الأكبر في بيئات قواعد بيانات المعالجة الفورية للمعاملات (OLTP) في التعامل مع المعاملات المتزامنة مع ضمان بقاء البيانات متسقة، خصوصًا خلال العمليات الكثيفة. يتطلب هذا التحدي موازنة بين الالتزام الصارم بمبادئ الذرية، والاتساق، والعزل، والديمومة (ACID) وبين متطلبات الأداء. في هذا السياق، يتعين على النظام تمكين عدة مستخدمين من تعديل نفس البيانات في الوقت نفسه دون حدوث تعارضات أو حالات تجمد، مع الاستمرار في دعم المعالجة الفورية.

ذكاء الأعمال والتحليلات

في سيناريوهات استخبارات الأعمال والتحليلات، يعيق ضعف التكامل بين الأنظمة ومصادر البيانات قدرة المؤسسات على بناء رؤية شاملة ودقيقة لبياناتها. كما أن الاعتماد على جمع البيانات يدويًا قد يؤدي إلى إدخال أخطاء، أو نسيان بيانات، أو حدوث تناقضات، مما يؤثر سلبًا على دقتها.

عمليات التدقيق وتتبع البيانات

من التحديات الأخرى عدم وجود سجلات تدقيق فعالة، الأمر الذي يجعل من الصعب تتبع تاريخ البيانات من لحظة جمعها وحتى حذفها. تواجه المؤسسات خطر فقدان القدرة على تتبع التغييرات غير المصرح بها في البيانات. تسهم الأنظمة القديمة في تعقيد مسألة سلامة البيانات نظرًا لاعتمادها على تنسيقات غير محدثة أو لافتقارها لآليات تحقق ضرورية. يوفّر ترحيل البيانات إلى السحابة إمكانية تطبيق آليات مركزية لضمان جودة البيانات، مما يقلل من الجهد والوقت المطلوبين لفحص سلامتها.

إليك بعض الإجراءات المقترحة لتطبيق السلامة المنطقية ضمن بيئة AWS السحابية.

تطبيق سلامة بيانات العناصر

تعتمد غالبية عمليات البيانات في السحابة على حاويات Amazon S3، التي تُستخدم لتخزين أنواع متعددة من البيانات كعناصر. غالبًا ما يتم نقل البيانات بين حاويات Amazon S3 وقواعد البيانات وخدمات سحابية أخرى أو أنظمة تخزين داخلية. تتيح Amazon S3 استخدام آليات تحقق تلقائية للمساعدة في الحفاظ على سلامة البيانات خلال عمليات التحميل والتنزيل والنسخ.

التحقق (Checksum) عبارة عن قيمة ثابتة وفريدة يتم توليدها من البيانات عبر خوارزمية معينة. يقوم بإنشاء بصمة رقمية مميزة تساعد الأنظمة في التعرف على فساد البيانات أو أي تغييرات غير مقصودة. أثناء نسخ العناصر، تحتسب Amazon S3 قيمة التحقق من العنصر الأصلي وتُدرجها في العنصر المنسوخ. يتم إرسال تنبيهات عند اكتشاف أي اختلاف في القيم. توفر Amazon S3 دعمًا لكل من التحقق الكامل للعناصر والتحقق المركب عند استخدام الرفع متعدد الأجزاء. تشمل التحققات الكاملة جميع محتويات الملف، بينما تعتمد التحققات المركبة على دمج التحققات الخاصة بكل جزء من الأجزاء المرفوعة.

يمكنك الاستفادة من ميزة التحقق (Checksum) بالطريقة الموضحة أدناه.

عمليات الرفع

تدعم Amazon S3 العديد من خوارزميات التجزئة الآمنة (SHA) وخوارزميات التحقق الدوري (CRC)، بما في ذلك CRC-64/NVME، وCRC-32، وCRC-32C، وSHA-1، وSHA-256. عند استخدام وحدة تحكم AWS، يمكنك اختيار خوارزمية التحقق المناسبة أثناء رفع الملفات. في حال عدم اختيار خوارزمية تحقق، تعتمد Amazon S3 تلقائيًا على CRC-64/NVME.

التنزيلات

أثناء تنزيل العناصر، يُنصح بطلب قيمة التحقق المخزنة لضمان سلامة البيانات. يمكنك استخدام GetObject أو HeadObject أو ListParts لاسترداد قيم التحقق، وذلك حسب حالة اكتمال عملية الرفع.

النسخ

عند نسخ عنصر باستخدام الأمر CopyObject، تقوم Amazon S3 بإنشاء قيمة تحقق مباشرة تغطي العنصر بالكامل. في حال تم رفع العنصر سابقًا باستخدام الرفع متعدد الأجزاء، فإن قيمة التحقق ستختلف عند نسخه، رغم بقاء البيانات كما هي.

تطبيق تدابير لضمان سلامة مسار البيانات

من أبرز استخدامات السحابة نقل البيانات إلى بحيرات البيانات أو مستودعات البيانات أو الخدمات المُدارة لقواعد البيانات. يُعتبر تنفيذ آليات التحقق من سلامة البيانات في هذه المسارات أمرًا معقدًا وعرضة للأخطاء ويتطلب وقتًا وجهدًا كبيرين. يتعيّن عليك إنشاء تعليمات مراقبة وقواعد جودة بيانات يدويًا لإخطار مستخدمي البيانات عند حدوث تراجع في الجودة.

أثناء الترحيل

تحافظ خدمة ترحيل قواعد البيانات في AWS‏ (DMS) على تكامل البيانات عند ترحيلها إلى قواعد بيانات سحابة AWS عبر آليات تحقق وحماية مدمجة متعددة. تقوم خدمة ترحيل قواعد البيانات في AWS‏ (DMS) بالتحقق تلقائيًا من تطابق البيانات بين المصدر والهدف، وتعمل على معالجة الفروقات عبر إعادة مزامنة البيانات.

تحتوي خدمة ترحيل قواعد البيانات في AWS‏ (DMS) على وظائف لنقاط التحقق والاسترداد، مما يسمح باستئناف عمليات الترحيل من النقطة الأخيرة السليمة في حال حدوث انقطاع، إلى جانب إمكانيات شاملة للرصد وتسجيل العمليات لتتبع سير الترحيل. كما توفر خدمة ترحيل قواعد البيانات في AWS‏ (DMS) حماية للبيانات عبر تشفير SSL أثناء النقل وتكاملها مع خدمات الأمان التابعة لـ AWS.

البنية التحتية لقواعد البيانات

تعتمد قواعد بيانات AWS على مجموعة من الآليات المتقدمة لحماية سلامة البيانات، مثل النسخ الاحتياطي التلقائي والتوزيع عبر مناطق توافر متعددة للحفاظ على اتساق البيانات واستمراريتها. تفرض هذه القواعد البيانية التكامل المرجعي من خلال القيود المدمجة، وتحافظ على التوافق مع خصائص ACID لضمان الاتساق في المعاملات، وتوفر إمكانيات الاستعادة إلى نقطة زمنية محددة. تُمكِّنك خدمات قواعد البيانات المُدارة، مثل خدمة ترحيل قواعد البيانات في AWS‏ (DMS) وAmazon Aurora، من إعداد ضوابط مخصصة للحفاظ على سلامة البيانات. على سبيل المثال، تمنحك Aurora إمكانية تخصيص مستويات عزل المعاملات حسب الحاجة في قاعدة بيانات OLTP الخاصة بك.

ولتحقيق حماية أكبر، توفر قواعد بيانات AWS إمكانيات للتعافي من الكوارث عبر النشر في عدة مناطق، مما يتيح تكرار البيانات في مواقع جغرافية مختلفة. يساهم الربط مع Amazon CloudWatch في اكتشاف مشكلات سلامة البيانات في وقت مبكر ومعالجتها قبل أن تؤثر على سير العمل.

تكامل البيانات

AWS Glue عبارة عن خدمة تكامل بيانات خالية من الخوادم، تتيح إعداد البيانات ودمجها ضمن بيئة AWS السحابية. تسهم ميزة جودة البيانات في AWS Glue في تقليص الوقت اللازم للتحقق اليدوي من البيانات من عدة أيام إلى بضع ساعات. تقوم الميزة تلقائيًا باقتراح قواعد جودة البيانات، وتحليل الإحصاءات، ومراقبة البيانات وتنبيهك عند وجود أخطاء أو نقص. تعمل باستخدام لغة تعريف جودة البيانات (DQDL)، وهي لغة متخصصة تُستخدم لتعريف قواعد سلامة البيانات.

لجمع البيانات من أنظمة OLTP وتحليلها، يمكن الاستفادة من مسارات AWS Glue لنقل البيانات من قواعد البيانات إلى خدمات التحليلات.

بإمكانك إرسال المقاييس إلى Amazon CloudWatch لمتابعتها وإعداد التنبيهات عند الحاجة.

تطبيق آليات لضمان سلامة النسخ الاحتياطية للبيانات

تأخذ الفرق المختلفة في المشاريع المؤسسية الكبيرة نسخًا احتياطية وتصل إلى Amazon S3 من مواقع متعددة. في مثل هذه العمليات الموزعة للنسخ الاحتياطي، تمثل حوكمة البيانات تحديًا رئيسيًا. من المهم ملاحظة أن قواعد بيانات AWS تتضمن وظائف نسخ احتياطي مدمجة بشكل افتراضي.

AWS Backup هي خدمة مُدارة بالكامل تعمل على تركيز حماية البيانات وأتمتتها عبر خدمات AWS مثل Amazon Simple Storage Service‏ (S3) وAmazon Elastic Compute Cloud (EC2) وAmazon FSx وأعباء العمل المختلطة في VMware. يمكن تنفيذ سياسات حماية البيانات مركزيًا للتحكم في أنشطة النسخ الاحتياطي وإدارتها عبر حسابات وموارد AWS المختلفة.

تهدف خدمة AWS Backup إلى ضمان سلامة البيانات في جميع مراحل دورة حياتها، بدءًا من الإرسال والتخزين ووصولًا إلى المعالجة. يتم فرض تدابير أمان مشددة على كل البيانات المخزنة، مهما كان نوعها، وذلك لحمايتها من الوصول غير المصرح به. يحتفظ المستخدم بالتحكم الكامل في تصنيف البيانات ومواقع التخزين والسياسات الأمنية، مما يتيح له إدارتها وأرشفتها وتأمينها بحسب متطلباته.

تعمل AWS Backup بالتكامل مع خدمات AWS الأخرى لضمان سلامة البيانات باستخدام مجموعة من الآليات. وهذا يشمل ما يلي:

• إجراء تحقق مستمر من مجموعات التحقق لتفادي تلف البيانات.
• استخدام مجموعات تحقق داخلية لضمان سلامة البيانات أثناء التخزين والنقل.
• استعادة التكرار تلقائيًا عند وقوع أعطال في وحدات التخزين.

يتم تخزين البيانات بنسخ مكررة في عدة مواقع مادية، وتساعد آليات الفحص على مستوى الشبكة في اكتشاف أي تلف أثناء عمليات نقل البيانات.