Amazon EMR تدعم الآن فحوصات جودة البيانات الأصلية ضمن مهام Apache Spark
تقوم Amazon EMR الآن بالتحقق من جودة البيانات بشكل أصلي ضمن مهام Apache Spark. يمكن لفرق هندسة البيانات اكتشاف مشكلات الجودة بشكل مضمّن قبل وصول البيانات غير السليمة إلى الأنظمة النهائية، دون إنشاء بنية تحتية منفصلة للتحقق من صحتها أو صيانتها. تتوفر جودة بيانات Amazon EMR، المدعومة من AWS Glue، بدون تكلفة إضافية وتستخدم نفس لغة القواعد التعريفية (لغة تعريف جودة البيانات) وواجهات برمجة التطبيقات مثل AWS Glue للحصول على تجربة متسقة عبر كلا المحركين، وتعمل مع Apache Iceberg وApache Hudi وDelta Lake عبر أوضاع نشر EC2 وEKS وServerless.
باستخدام هذه الميزة، يمكنك تأليف قواعد التحقق في نصوص Spark البرمجية أو القواعد المرجعية المخزنة في كتالوج بيانات AWS Glue، ثم تطبيقها في أي مرحلة من مراحل المسار الخاص بك، أي بعد قراءة البيانات أو أثناء التحويل أو بعد المعالجة. مع أكثر من 30 نوعًا من القواعد، بما في ذلك القواعد الديناميكية التي تُقارن بعمليات التشغيل السابقة واكتشاف حالات الخلل المستند إلى تعلّم الآلة لتتبع الانحراف بمرور الوقت دون تحديد حدود ثابتة، توفر جودة بيانات Amazon EMR المرونة في اختيار إطار عمل التحقق الذي يناسب احتياجاتك. يمكنك اتخاذ إجراءات مثل رفض مسار أو تصفية السجلات غير الصالحة أو توجيهها إلى منطقة العزل استنادًا إلى نتائج تقييم الجودة. يتم إنتاج النتائج على مستوى مجموعة البيانات والقاعدة والصفوف، بحيث يمكنك بسهولة تحديد السجلات أو القواعد التي تؤدي إلى فشل الجودة.
تتوفر جودة بيانات Amazon EMR في وقت تشغيل AWS لـ Apache Spark (emr-spark-8.1.0) في جميع مناطق AWS التجارية وAWS GovCloud (الولايات المتحدة) وAWS في الصين.
للبدء، قم بزيارة وثائق جودة بيانات Amazon EMR وأضف قواعد DQDL للتحقق من جودة البيانات إلى نصوص Spark الخاصة بأعباء عمل EMR لديك.