Amazon EMR รองรับการตรวจสอบคุณภาพข้อมูลแบบเนทีฟในงาน Apache Spark แล้ว
ขณะนี้ Amazon EMR สามารถตรวจสอบคุณภาพข้อมูลแบบเนทีฟภายในงาน Apache Spark ได้แล้ว ทีมวิศวกรรมข้อมูลสามารถตรวจจับปัญหาด้านคุณภาพได้ภายในกระบวนการก่อนที่ข้อมูลที่ไม่ถูกต้องจะไปถึงระบบปลายทาง โดยไม่ต้องสร้างหรือดูแลโครงสร้างพื้นฐานสำหรับการตรวจสอบแยกต่างหาก Amazon EMR Data Quality ซึ่งขับเคลื่อนโดย AWS Glue พร้อมใช้งานโดยไม่มีค่าใช้จ่ายเพิ่มเติม และใช้ภาษากฎในรูปแบบการประกาศเดียวกัน (Data Quality Definition Language) และ API เดียวกับ AWS Glue เพื่อมอบประสบการณ์ที่สอดคล้องกันในทั้งสองเอ็นจิ้น อีกทั้งยังทำงานร่วมกับ Apache Iceberg, Apache Hudi และ Delta Lake ได้ในโหมดการนำไปใช้จริงบน EC2, EKS และแบบไม่ต้องใช้เซิร์ฟเวอร์
ด้วยฟีเจอร์นี้ คุณสามารถเขียนกฎการตรวจสอบความถูกต้องไว้ในสคริปต์ Spark ของคุณ หรืออ้างอิงกฎที่จัดเก็บไว้ในแค็ตตาล็อกข้อมูลของ AWS Glue จากนั้นนำกฎเหล่านั้นไปใช้ในขั้นตอนใดก็ได้ของไปป์ไลน์ เช่น หลังจากอ่านข้อมูล ระหว่างการแปลงข้อมูล หรือหลังการประมวลผล ด้วยกฎมากกว่า 30 ประเภท ซึ่งรวมถึงกฎแบบไดนามิกที่เปรียบเทียบกับการเรียกใช้ในอดีต และการตรวจจับความผิดปกติด้วย ML สำหรับติดตามการเปลี่ยนแปลงของข้อมูลตามเวลาโดยไม่ต้องระบุค่าเกณฑ์คงที่ Amazon EMR Data Quality จึงมอบความยืดหยุ่นในการเลือกเฟรมเวิร์กการตรวจสอบความถูกต้องที่เหมาะกับความต้องการของคุณ คุณสามารถดำเนินการต่าง ๆ ได้ เช่น ทำให้ไปป์ไลน์ล้มเหลว กรองระเบียนที่ไม่ถูกต้อง หรือกำหนดเส้นทางระเบียนเหล่านั้นไปยังพื้นที่กักกัน โดยอิงตามผลการประเมินคุณภาพ ผลลัพธ์จะถูกสร้างขึ้นในระดับชุดข้อมูล กฎ และแถว เพื่อให้คุณสามารถระบุได้อย่างง่ายดายว่าระเบียนหรือกฎใดเป็นสาเหตุของความล้มเหลวด้านคุณภาพ
Amazon EMR Data Quality พร้อมใช้งานบนรันไทม์ AWS สำหรับ Apache Spark (emr-spark-8.1.0) ใน AWS Region เชิงพาณิชย์ทุกแห่ง, AWS GovCloud (สหรัฐฯ) และรีเจี้ยน AWS China
ในการเริ่มต้นใช้งาน โปรดไปที่เอกสารประกอบของ Amazon EMR Data Quality และเพิ่มกฎ DQDL สำหรับการตรวจสอบคุณภาพข้อมูลลงในสคริปต์ Spark ของเวิร์กโหลด EMR ของคุณ