ما المقصود بتنظيف البيانات؟

عندما تستخدم شركة ما البيانات لدعم عملية اتخاذ القرار، فمن الأهمية بمكان أن تستخدم بيانات ذات صلة وكاملة ودقيقة. ومع ذلك، غالبًا ما تنطوي مجموعات البيانات على أخطاء يلزم إزالتها قبل التحليل. قد تتضمن مجموعات البيانات أخطاء في التنسيق مثل التواريخ ووحدات القياس النقدية المكتوبة بشكل غير صحيح وغيرها من وحدات القياس التي قد تؤثر جوهريًا في التنبؤات. القيم المتطرفة هي مصدر قلق على وجه الخصوص لأنها تؤدي دائمًا إلى انحراف النتائج. تتضمن أخطاء البيانات الأخرى الشائع وجودها نقاط البيانات التالفة والمعلومات المفقودة والأخطاء المطبعية. يمكن أن تساعد البيانات النظيفة في إنشاء نماذج تعلّم آلة عالية الدقة. 

إن كون البيانات نظيفة ودقيقة بالغ الأهمية بشكل خاص لتدريب نماذج تعلّم الآلة، إذ إن استخدام مجموعات بيانات التدريب الضعيفة المستوى يمكن أن يؤدي إلى تنبؤات خطأ في النماذج المنشورة. وهذا هو السبب الرئيس الذي يجعل علماء البيانات يقضون الكثير من الوقت في تجهيز البيانات لأجل تعلّم الآلة.

Amazon SageMaker Data Wrangler هي إحدى ميزات Amazon SageMaker التي تمكِّنك من إعداد البيانات بسرعة وسهولة لعملية تعلّم الآلة. باستخدام Amazon Sagemaker Data Wrangler، يمكنك إكمال جميع خطوات سير عمل إعداد البيانات، بما في ذلك اختيار البيانات والتنظيف والاستكشاف وكشف التحيز والعرض المرئي من خلال واجهة مرئية واحدة.

باستخدام أداة تحديد البيانات في SageMaker Data Wrangler، يمكنك اختيار البيانات التي تريدها من مصادر بيانات مختلفة واستيرادها بنقرة واحدة. بمجرد استيراد البيانات، يمكنك استخدام تقرير جودة البيانات والرؤى للتحقق تلقائيًا من جودة البيانات واكتشاف العيوب، مثل الصفوف المكررة وتسرب الهدف. يتضمن SageMaker Data Wrangler أكثر من 300 عملية تحويل بيانات مضمنة بحيث يمكنك تطبيع الميزات وتحويلها ودمجها بسرعة بدون الحاجة إلى كتابة أي تعليمات برمجية.

للبدء في استخدام SageMaker Data Wrangler، استكشف البرنامج التعليمي.