ما المقصود بإطار عمل ترحيل البيانات؟
ما المقصود بإطار عمل ترحيل البيانات؟
ترحيل البيانات هو نقل البيانات من نظام تخزين واحد إلى نظام آخر أو بيئة حوسبة إلى بيئة أخرى. تهدف أي مبادرة لترحيل البيانات إلى نقل البيانات بكفاءة مع مراعاة عوامل مثل موارد الشبكة وأمن البيانات والوقت وطرق النقل. يركز الترحيل السحابي للبيانات بشكل صريح على نقل البيانات إلى السحابة.
لا تقتصر هذه العملية على نقل البيانات فحسب، بل تتضمن تخطيطها بدقة بين بيئات التخزين المختلفة. ويمكن أن تتخذ عدة أشكال. على سبيل المثال، قد تضطر إلى تحميل ملفات البيانات بشكل دوري على دفعات، أو نقل البيانات المتدفقة من أجهزة الاستشعار، أو تنفيذ الترحيل على دفعة واحدة لأرشيف موجود من أنظمة تخزين البيانات المحلية.
الأهداف
يتطلب كل مشروع ترحيل سحابي للبيانات حالة عمل واضحة لتحديد أفضل النتائج. ومع ذلك، هناك بعض الأهداف المشتركة لمعظم عمليات ترحيل البيانات:
- تحسين الكفاءة، مثلاً من خلال زيادة وقت التشغيل، أو الاعتماد على بنية تُعطي الأولوية للعمل عن بُعد، أو دمج الأنظمة المتعددة.
- تقليل الإنفاق على الموارد عبر صيانة الأجهزة، وتشغيل غرفة الخوادم، ومديري الأنظمة الموجودين في الموقع على مدار الساعة طوال أيام الأسبوع.
- منصة بيانات أساسية لإجراء التحليلات والذكاء الاصطناعي وبناء تطبيقات المؤسسة.
قد تشمل الأهداف الأخرى ضمان بقاء الأنظمة متاحة في نهاية عمرها الطبيعي، وإضفاء الطابع الافتراضي على جميع البُنَى التحتية، وتكامل البيانات مع أنظمة السحابة الحالية.
التحديات
يتضمن الترحيل السحابي الناجح أكثر من مجرد نقل الملفات. ويتطلب ما يلي:
- بقاء الأذونات وعناصر التحكم في الوصول والبيانات الوصفية الأخرى سليمة.
- يمكن للمستخدمين الوصول دون انقطاع إلى البيانات بالغة الأهمية في أثناء عمليات التحميل.
- يتم الحفاظ على اتساق البيانات على الرغم من حالات الانقطاع في الشبكة
يستغرق نقل كميات كبيرة من البيانات وقتًا طويلاً وغالبًا ما يتطلب تدخلًا يدويًا كبيرًا. قد يؤدي الاستثمار في الأدوات المتخصصة للترحيل إلى خسائر مالية بعد انتهاء النقل.
وبالتالي، يتطلب الترحيل السحابي التخطيط والجدولة والأدوات المناسبة للحد من النفقات التشغيلية وتقليل التكاليف. وإلا، فقد تتأخر عملية ترحيل البيانات أو حتى تتطلب إعادة التشغيل من البداية.
ما الاعتبارات الرئيسية لتخطيط ترحيل البيانات؟
يجب على القادة والفرق المشاركة في ترحيل البيانات مراعاة ما يلي:
- الوقت المستغرق لترحيل البيانات
- أي حالات عدم توافق حالية بين المصدر والوجهة
- اعتبارات الأمان أثناء الترحيل
- تكلفة أدوات أو عمليات الترحيل
- اعتبارات خاصة بجدولة المواعيد
- نوع الترحيل - ترحيل على دفعات، ترحيل متدفق، ترحيل على دفعة واحدة
- التأثير على موارد الشبكة.
تتضمن خطوات التخطيط ما يلي:
تقييم مصادر بياناتك
قبل نقل البيانات، يجب تقييم تكوينات بياناتك الحالية. أنواع بياناتك الحالية وطريقة تخزينها والوصول إليها تحدد خيارات الترحيل المتاحة لك.
على سبيل المثال، يمكن ترحيل قواعد البيانات العلائقية المخزَّنة على خادم MySQL في الموقع إلى Amazon Relational Database Service (RDS) من خلال عملية بسيطة نسبيًا وحيث يتم الترحيل من نظام إدارة قواعد بيانات إلى نظام مطابق (واحد لواحد). ومع ذلك، قد تكون الأنظمة القديمة داخل الشركة لتخطيط موارد المؤسسات أكثر صعوبة، خاصة إذا كانت حتمية التحوّل الرقمي تنطوي على تغيير البرامج.
حدد ودوّن تفاصيل جميع مصادر بياناتك للترحيل السحابي، مثل:
- قواعد البيانات
- بيانات التطبيق
- التخزين
- نماذج البيانات
- من السحابة إلى السحابة
تصميم عملية الترحيل
يتضمن ذلك تنظيم وتكوين أدوات الترحيل التي تلبي معايير الأمان الحالية. يجب عليك أيضًا تحديد ترتيب عمليات ترحيل البيانات وجدولتها مسبقًا. على سبيل المثال، يمكنك الاختيار من بين:
- النسخ المتطابق المباشر لنسخ الكائنات التلقائي وغير المتزامن حتى تتم مزامنة البيانات بين كلا النظامين.
- ترحيل النسخ الاحتياطية لتسليم حالة النظام الكاملة دفعة واحدة، والتي يتم تحديثها بعد ذلك بعمليات نقل أصغر للمواكبة والمواءمة مع الحالة الراهنة.
- ترحيل مرحلي لنقل مجموعات بيانات صغيرة واحدة تلو الأخرى.
أيضًا، خطط لكيفية تقييم دقة وجودة الترحيل في النهاية.
إحاطة أصحاب المصلحة الرئيسيين بالموضوع
قد يسبب الترحيل اضطرابًا لموظفي الأعمال والعملاء والشركاء. تأكد من أن أصحاب المصلحة الرئيسيين على دراية بعملية ترحيل البيانات والخطط والجداول الزمنية واضطرابات إمكانية الوصول خلال فترة الترحيل. قد يكون التدريب ضروريًا أيضًا لضمان معرفة المسؤولين بكيفية التكوين، ومعرفة المستخدمين بكيفية الوصول إلى البيانات وخدمات السحابة بعد الترحيل.
خطط وحدد جدولًا لتحديثات متكررة طوال عملية الترحيل للحفاظ على انطباع إيجابي.
تصميم الحل واختباره
تتطلب كل عملية ترحيل بيانات إستراتيجية مختلفة. بعض أنواع ترحيل البيانات تحتاج إلى نقل سريع ومباشر لكمية صغيرة من البيانات، في حين أن بعضها الآخر قد يشهد تدفقًا تدريجيًا لكمية كبيرة من البيانات مع الزمن. ستعتمد كيفية إنشاء الترحيل واختباره على الإستراتيجية والأدوات المعنية. عادةً، ستستمر في استخدام أنظمتك القديمة حتى تكمل الاختبار الكامل للأنظمة الجديدة للتأكد من أن عملية الترحيل كاملة وصحيحة.
ما هي بعض استراتيجيات ترحيل البيانات؟
هناك استراتيجيات وأساليب مختلفة لتحميل البيانات إلى سحابة AWS باستخدام خدمات الترحيل السحابي للبيانات من AWS.
اتصالات الشبكة المباشرة
اتصال الشبكة المباشر هو اتصال خاص وموصول بكبل بين جهاز التوجيه لديك وجهاز توجيه مستند إلى السحابة. يقع جهاز التوجيه المستند إلى السحابة عند حافة الشبكة الخاصة بمزوّد الخدمة السحابية، ما يتيح لك الوصول مباشرةً إلى مجموعة خدماته.
تتيح لك AWS Direct Connect استخدام كبل إيثرنت من الألياف الضوئية لإنشاء اتصال شبكي من الطبقة الثالثة بين مؤسستك وAWS لنقل البيانات بأمان من شبكاتك إلى خدمات AWS. تتوفر لـ AWS Direct Connect مواقع في جميع أنحاء العالم، حيث يمكنك إعداد معداتك الخاصة لترحيل البيانات.
كيفية بدء الاستخدام:
الخطوة 1—حدد موقع الاتصال المباشر
اختر موقع AWS Direct Connect وحدد الاتصالات المطلوبة وحدد حجم المنفذ. يمكن استخدام منافذ متعددة لزيادة عرض النطاق الترددي أو لتحقيق التكرارية.
الخطوة 2 - اختر نوع الاتصال
اختر بين اتصال مخصص أو مستضاف. يوفر الاتصال المخصص وصولاً حصريًا من خلال واجهات افتراضية متعددة، بينما الاتصال المستضاف يشارك الاتصال التبادلي ويوفر واجهة افتراضية واحدة.
الخطوة 3 - إعداد واجهات افتراضية
كوِّن واجهة افتراضية منطقية (VIF) واحدة أو أكثر عبر اتصالك. تتصل واجهات النقل الافتراضية المنطقية ببوابات AWS Transit Gateway، وتتيح واجهات VIF العامة الوصول إلى خدمات AWS العامة عبر عناوين IP العامة، بينما تتصل واجهات VIF الخاصة بـ Amazon VPC باستخدام عناوين IP الخاصة.
نقل البيانات المستند إلى الجهاز
يمكن أن تكون عمليات ترحيل البيانات كبيرة الحجم أكثر كفاءة عند نقل البيانات إلى جهاز ونقلها فعليًا إلى مركز البيانات. AWS Snowball هي خدمة توفر أجهزة آمنة ومتينة يمكنك استخدامها لتحميل البيانات إلى السحابة بأمان. الخطوات موضحة فيما يلي:
1. تشحن AWS جهاز Snowball إلى موقعك عند الطلب.
2. صِل الجهاز بشبكتك واستخدم عميل AWS Snowball أو AWS OpsHub لفتح الجهاز وتكوينه.
3. انسخ البيانات إلى الجهاز—التشفير المدمج يضمن الأمان أثناء النقل.
4. اشحن الجهاز مرة أخرى إلى AWS باستخدام ملصق الشحن المدفوع مسبقًا.
5. عند الوصول، تنقل AWS تلقائيًا البيانات إلى حاوية التخزين S3 المعينة وتسمح جهاز Snowball بأمان.
6. ستتلقى إشعارًا عند اكتمال العملية.
تحميل تدفقات بيانات أجهزة الاستشعار
البيانات المتدفقة التي يتم جمعها من أجهزة إنترنت الأشياء أو الأجهزة الصناعية وشبكات أجهزة الاستشعار يمكن إرسالها مباشرةً في الوقت الفعلي إلى السحابة، بدلاً من جمعها ومعالجتها على دفعات في الموقع. تتيح لك Amazon Data Firehose إمكانية إنشاء تدفق من مصدر بياناتك، وتحويل البيانات إذا لزم الأمر، ثم تخزينها في مجموعة من خدمات تخزين الوجهة على AWS.
الخطوات موضحة فيما يلي
الخطوة 1—إنشاء تدفق Firehose
تدفق Firehose هو الكيان الأساسي لخدمة Amazon Data Firehose. يمكنك إنشاؤه من وحدة تحكم AWS وتكوينه لاستقبال البيانات مباشرة أو من تدفق بيانات Amazon Kinesis موجود مسبقًا.
الخطوة 2—إرسال البيانات إلى Firehose Stream
السجلات، التي يصل حجمها إلى 1000 كيلوبايت، تُرسل من قبل منتجي تدفق البيانات إلى تدفق Firehose. يمكن أن يكون منتجو البيانات عبارة عن تطبيقات أو خوادم أو خدمات AWS أخرى.
الخطوة 3—تكوين التخزين المؤقت ومعالجة البيانات
تُخزِّن Amazon Data Firehose البيانات الواردة مؤقتًا قبل تسليمها إلى الوجهات. يمكنك تكوين حجم المخزن المؤقت (بالميجابايت) والفاصل الزمني للمخزن المؤقت (بالثواني).
الخطوة 4—اختيار وجهة وفهم تدفق البيانات
تنقل Amazon Data Firehose البيانات المتدفقة إلى وجهات مختلفة
- تُخزِّن بيانات Amazon S3 داخل حاوية تخزين S3، مع خيار النسخ الاحتياطي للبيانات المحوَّلة.
- تُسلَّم Amazon Redshift بيانات أولاً إلى حاوية تخزين S3 ثم تحمَّلها في Redshift باستخدام الأمر COPY.
- Amazon OpenSearch Service مع خيار اختياري للنسخ الاحتياطي على S3.
ترحيل قاعدة البيانات
يشير ترحيل قاعدة البيانات إلى ترحيل قواعد البيانات العلائقية ومستودعات البيانات وقواعد بيانات NoSQL وأنواع أخرى من مخازن البيانات في شكل قاعدة بيانات. تكتشف خدمات الترحيل أنواع قواعد البيانات والمخططات وتنسخها مباشرةً إلى البنية التحتية نفسها أو تحوّلها إلى محرك هدف جديد.
تكتشف AWS Database Migration Service قواعد البيانات وأعباء عمل التحليلات، وتقيّمها، وتحوّلها، ثم ترحّلها إلى AWS عبر عملية ترحيل بيانات مؤتمتة. تتميز الخدمة بأنها عالية التوافر وبوقت تعطل قليل جدًا.
إذا لم تكن حالة ترحيل البيانات مدرجة أعلاه، فيمكنك أيضًا تجربة:
- AWS Transfer Family عبارة عن مجموعة من خدمات نقل الملفات الآمن مثل SFTP
- AWS Storage Gateway عبارة عن مجموعة من حلول التخزين المختلطة في الموقع والسحابة
- AWS Glue عبارة عن مجموعة من الخدمات لاكتشاف البيانات وإعدادها ونقلها ودمجها من مصادر مختلفة
ما هي بعض أفضل ممارسات ترحيل البيانات؟
فيما يلي بعض أفضل الممارسات في مجال الترحيل السحابي للبيانات.
الاحتفاظ دائمًا بنسخ احتياطية للبيانات
احتفظ دائمًا بنسخ احتياطية للبيانات سواء أردت نقلها أم لمجرد إدارة الأعمال اليومية. لا تحذف بياناتك الأصلية قبل أن تتأكد تمامًا من أن تكوين السحابة قد اختُبِر وعمل على النحو المتوقع، مع ضمان توفر نُسخها الاحتياطية.
ضمان تعيين جميع التبعيات وترحيلها
غالبًا ما تكون البيانات مرتبطة بتبعيات أخرى مختلفة ولن تعمل بشكل صحيح بدونها. لضمان الانتقال السلس، تأكد من تعيين جميع التبعيات وترحيلها جنبًا إلى جنب مع البيانات الأصلية. يجب تعيين أذونات المستخدمين وعناصر التحكم في الوصول بنفس المستويات التي كانت عليها قبل الترحيل، وإعادة تقييمها لزيادة مستوى الأمان كلما أمكن ذلك.
التحقق مجددًا من التزامات وتكوينات الأمان والامتثال
قبل الترحيل وأثناءه وبعده، يجب عليك فحص سياسات وإجراءات الأمان والامتثال لتحديد العمليات وعناصر التحكم الصحيحة لاستخدامها في أنشطة الترحيل.
تضمين التخطيط لإيقاف تشغيل المعدات القديمة
قد تظل الأجهزة القديمة تحتوي على بيانات قابلة للاسترداد، حتى عند حذف الملفات ومساحات القرص. لضمان الحذف الكامل لجميع البيانات، احرص على إيقاف الأجهزة القديمة بشكل آمن، على سبيل المثال من خلال اتباع إرشادات NIST 800-88 الخاصة بتطهير الوسائط.
كيف يمكن لـ AWS دعم احتياجات ترحيل بياناتك؟
في AWS، طورنا مجموعة كاملة من أدوات وخدمات ترحيل البيانات لجعل استيراد البيانات وتصديرها أمرًا سهلاً وآمنًا وفعالًا من حيث التكلفة. تتوفر المساعدة في كل مرحلة من مراحل عملية ترحيل البيانات بأكملها. تفضل بزيارة الترحيل السحابي من AWS للترحيل والتحديث باستخدام AWS أو اطلب تقييم AWS للتحسين والترخيص مجانًا اليوم.