جودة البيانات في AWS Glue تدعم الآن اكتشاف أوجه الخلل وكتابة النتائج إلى كتالوج بيانات AWS Glue
تدعم جودة البيانات في AWS Glue الآن اكتشاف أوجه الخلل في تقييمات جودة البيانات المستندة إلى الكتالوج والقدرة على كتابة نتائج التقييم إلى جداول كتالوج بيانات AWS Glue (GDC). تعمل هذه الإمكانات عبر كل من وظائف ETL وتقييمات الكتالوج، مما يمنحك تجربة جودة بيانات متسقة بغض النظر عن نوع سير العمل.
من خلال دعم اكتشاف أوجه الخلل في GDC، يمكنك تحديد التغييرات غير المتوقعة في إحصائيات البيانات مثل الانخفاضات المفاجئة في القيم المميزة أو ارتفاع عدد الصفوف في جداول GDC باستخدام التنبؤ بالسلاسل الزمنية المدعوم بتعلّم الآلة، دون الحاجة لكتابة قواعد بحدود صريحة. تعد هذه الإمكانية مهمة بشكل خاص لمهندسي البيانات الذين يراقبون مئات الجداول في GDC ويحتاجون إلى عرض المشكلات تلقائيًا.
من خلال تخزين النتائج في GDC، تتم إعادة كتابة نتائج قواعد جودة البيانات ومقاييس التوصيف وتنبؤات أوجه الخلل (مع حدود الثقة) إلى جداول GDC، مما يؤدي إلى إنشاء سجل قابل للاستعلام لجميع تقييمات الجودة. سواء تم إجراء التقييم في وظيفة ETL أو مباشرة على جدول في كتالوج، يمكن الاستعلام عن النتائج في أي وقت باستخدام SQL القياسي.
يتوفر اكتشاف أوجه الخلل في جودة البيانات في AWS Glue وتخزين نتائج الكتالوج في جميع مناطق AWS التجارية ومناطق AWS GovCloud (الولايات المتحدة).
للبدء، تفضل بزيارة وثائق جودة البيانات في AWS Glue.