ما المقصود بتوصيف البيانات؟

ملف البيانات التعريفي هو تقرير يقدم رؤى تفصيلية حول خصائص بيانات الشركة وأي مشكلات محتملة تتعلق بجودة البيانات قد تنطوي عليها. يركز التقرير على البيانات الوصفية والمعلومات الإحصائية، مما يوفر للباحثين نظرة شاملة لمحتويات البيانات.

تساعد المقاييس الإحصائية في ملف البيانات التعريفي في تحديد جودة البيانات. وهي توفر معلومات حول القيم الصغرى والكبرى، وتكرار البيانات، والتباين، والمتوسط الحسابي والمنوال، والنسب المئوية، وغيرها من المؤشرات المتعلقة بتوزيع البيانات.

يقدم قسم البيانات الوصفية في التقرير تصورًا واضحًا عن طبيعة البيانات التي تجمعها الشركة. ويشمل ذلك الجوانب الهيكلية وتحليل المفاتيح الخارجية من أجل فهم العلاقات بين مجموعات البيانات وتحليل التكامل المرجعي للتحقق من صحة الاتساق بين الجداول المختلفة.

هناك العديد من حالات استخدام توصيف البيانات.

جودة البيانات

إذا تعذَّرت عمليات البيانات، فإن من أسهل الطرق لتحديد السبب إنشاء ملف تعريفي للبيانات. يكشف تقرير ملف البيانات التعريفي ما إذا كانت البيانات غير كاملة أو غير دقيقة، أو تحتوي على حرف غير متوقع قد يكون سبب الخطأ. يمكن لمهندسي البيانات تنفيذ ملفات البيانات التعريفية بشكل دوري للتحقق من أن عمليات البيانات تعمل وفق التوقعات، ولضمان استمرار الحفاظ على جودة البيانات.

ترحيل البيانات

يمكن لمهندسي البيانات الاستفادة من تقارير ملف البيانات التعريفية للكشف عن حالات الإجهاد في أنظمة البيانات وتحديد التعديلات الضرورية لتحسين الكفاءة التشغيلية. ويمكن لتقارير ملف البيانات التعريفية المساعدة في اتخاذ قرارات الترحيل إلى السحابة أو إلى أي إعداد جديد. يمكن لمهندسي البيانات جمع المعلومات اللازمة بسرعة للعمل بكفاءة أعلى وتحسين تطوير مسار البيانات.

إدارة البيانات الرئيسية

البيانات الرئيسية هي البيانات الأساسية المُستخدَمة على مستوى المؤسسة، وعادةً ما تصف العملاء أو المنتجات أو الموردين أو غيرها من الأصول الرئيسية. وتُعد تطبيقات إدارة البيانات الرئيسية (Master Data Management, MDM) حلولًا برمجية تمكن المؤسسات من إدارة بياناتها الرئيسية والحفاظ على اتساقها ودقتها. عندما تعمل الفِرق على تطبيقات MDM الرئيسية، فإنها تستخدم ملفات البيانات التعريفية لفهم الأنظمة التي يتكامل معها المشروع، وتحديد نطاق التطبيق، والتحقق مما إذا كانت هناك أي حالات عدم اتساق في البيانات. يمكن للشركات الاستفادة من توصيف البيانات في تحديد مشكلات جودة البيانات والقيم الفارغة والأخطاء في أقرب وقت ممكن، بما يساهم في تسريع توحيد البيانات ودعم عمليات MDM.

إليك المراحل الرئيسية التي تمر بها عملية توصيف البيانات.

التحضير

تشير مرحلة التحضير إلى وضع تصور للأهداف المنشودة من خلال توصيف البيانات. وتبدأ هذه العملية بتحديد نمط توصيف البيانات الأكثر فعالية لتحقيق الأهداف المؤسسية. في هذه المرحلة، ستحدد أيضًا أي حقول بيانات وصفية ترغب في البحث عنها.

اكتشاف البيانات

بعد ذلك، ستحدد البيانات الموجودة في نظامك. وتهدف هذه المرحلة إلى جمع معلومات حول بنية بياناتك وتنسيقاتها ومحتواها والعلاقات المحتملة بين مجموعات البيانات. في هذه المرحلة، يمكنك إجراء تحليل إحصائي لتحديد ميزات بيانات محددة.

توحيد المقاييس

يضمن توحيد المقاييس اتساق التنسيقات والهياكل عبر جميع بياناتك. في هذه المرحلة، يتم أيضًا حذف أي بيانات متكررة وإزالة التكرارات، مما يقلل من إجمالي حجم البيانات المطلوب تنقيحها في الخطوة التالية. إذا كنت بحاجة إلى تطبيق القواعد المؤسسية لتوحيد مقاييس بياناتك، فهذا هو الموضع الذي يتم فيه التحقق من صحة قاعدة البيانات.

تنقيح البيانات

تتضمن عملية تنقيح البيانات اكتشاف الأخطاء وإزالتها، وتحسين جودة البيانات من خلال ربطها بمصادر بيانات إضافية، ومعالجة حالات عدم الاتساق في مجموعات البيانات الأوسع نطاقًا.

التحسين

أخيرًا، تركز عملية توصيف البيانات على التحسين، والذي يتضمن مراقبة جودة البيانات لضمان حل أي مشكلات في أسرع وقت ممكن. إذا كانت لديك أهداف معينة تتعلق بحوكمة البيانات أو استراتيجية البيانات، ففي هذه المرحلة يمكنك ضمان الامتثال والتحقق من إدخال بياناتك وتوزيعها بشكل صحيح عبر مؤسستك.

يوفر كتالوج Amazon SageMaker درجات جودة البيانات التي تساعدك في فهم مقاييس الجودة المختلفة مثل اكتمال مصادر البيانات وتوقيتها ودقتها. ويتكامل كتالوج Amazon SageMaker مع جودة البيانات AWS Glue، كما يوفر واجهات برمجة التطبيقات (API) لدمج مقاييس جودة البيانات من حلول خارجية لجودة البيانات. يمكن لمستخدمي البيانات رصد كيفية تغيير مقاييس جودة البيانات بمرور الوقت للأصول المشتركين فيها. ولإنشاء قواعد جودة البيانات وتشغيلها، يمكنك استخدام أداة جودة البيانات من اختيارك مثل جودة البيانات AWS Glue. باستخدام مقاييس جودة البيانات في كتالوج SageMaker، يمكن لمستهلكي البيانات عرض درجات جودة البيانات المتعلقة بالأصول والأعمدة، مما يساعد على بناء الثقة في البيانات التي يستخدمونها لاتخاذ القرارات.

AWS Glue هي خدمة تكامل البيانات بلا خادم، تعمل على تسهيل عملية اكتشاف البيانات وتحضيرها ودمجها لأغراض التحليلات والذكاء الاصطناعي/تعلم الآلة (AI/ML) وتطوير التطبيقات. وتوفر هذه الخدمة جميع الإمكانات اللازمة لتكامل البيانات، مما يسمح لك ببدء تحليل بياناتك واستخدامها في خلال دقائق بدلًا من أشهر.

AWS Glue DataBrew هي ميزة تحضير البيانات بشكل مرئي داخل AWS Glue، وتتيح إمكانات توصيف البيانات. يمكنك:

• الاختيار من بين أكثر من 250 تحويلًا تم إنشاؤه مسبقًا لأتمتة مهام إعداد البيانات، وذلك بدون الحاجة إلى كتابة أي تعليمات برمجية.
• تصفية القيم الشاذة تلقائيًا، وتحويل البيانات إلى تنسيقات قياسية، وتصحيح القيم غير الصالحة.
• الاستخدام الفوري للبيانات المعَدة للتحليلات ومشروعات الذكاء الاصطناعي/تعلم الآلة.

إنشاء قواعد جودة البيانات يدويًا عن طريق كتابة التعليمات البرمجية لمراقبة مسارات البيانات يمثل تحديًا كبيرًا في توصيف البيانات. جودة البيانات AWS Glue هي ميزة أخرى تعمل تلقائيًا على حساب الإحصاءات، واقتراح قواعد لضمان جودة البيانات ومراقبتها، وتنبيهك فور اكتشاف أي مشكلات.

بدء استخدام توصيف البيانات على AWS من خلال إنشاء حساب مجاني اليوم.