คุณภาพข้อมูลของ AWS Glue (ตัวอย่าง)

การเริ่มต้นใช้งานคุณภาพข้อมูลอาจเป็นเรื่องยาก เนื่องจากคุณต้องวิเคราะห์ข้อมูลด้วยตนเองในการสร้างกฎคุณภาพ คุณภาพข้อมูลของ AWS Glue จะคำนวณสถิติสำหรับชุดข้อมูลของคุณโดยอัตโนมัติ มันจะใช้สถิติเหล่านี้ในการแนะนำชุดของกฎคุณภาพที่จะตรวจสอบความใหม่ ความถูกต้อง และความสมบูรณ์ คุณสามารถปรับกฎที่แนะนำ ยกเลิกกฎ หรือเพิ่มกฎใหม่ได้ตามต้องการ หากตรวจพบปัญหาด้านคุณภาพ ตัวคุณภาพข้อมูลของ AWS Glue จะแจ้งเตือนคุณเพื่อให้คุณตอบสนองต่อปัญหาได้

ข้อมูลของคุณอยู่ในที่เก็บข้อมูลต่างๆ และย้ายจากที่เก็บหนึ่งไปยังอีกที่หนึ่ง การตรวจสอบคุณภาพของข้อมูลทั้งตอนที่ข้อมูลมาถึงและระหว่างการส่งข้อมูลล้วนเป็นสิ่งสำคัญ กฎคุณภาพข้อมูลของ AWS Glue สามารถนำไปใช้กับข้อมูลที่อยู่ในพื้นที่จัดเก็บในชุดข้อมูลและ Data Lake ของคุณรวมถึงไปป์ไลน์ข้อมูลทั้งหมดที่มีการเคลื่อนไหวของข้อมูลอยู่ สำหรับไปป์ไลน์ข้อมูลที่สร้างบน AWS Glue Studio คุณจะสามารถใช้การแปลงเพื่อประเมินคุณภาพของไปป์ไลน์ทั้งหมดได้ คุณยังสามารถกำหนดกฎเพื่อหยุดไปป์ไลน์ได้หากคุณภาพแย่ลง เพื่อป้องกันไม่ให้ข้อมูลที่ใช้ไม่ได้เข้าสู่ Data Lake ของคุณ

AWS Glue เป็นแบบไม่ต้องใช้เซิร์ฟเวอร์ คุณจึงสามารถปรับขนาดได้โดยไม่ต้องจัดการโครงสร้างพื้นฐาน มันปรับขนาดตามขนาดข้อมูลใดก็ได้ และมีการเรียกเก็บเงินตามการใช้งานจริงเพื่อเพิ่มสภาพคล่องและลดต้นทุน คุณภาพข้อมูล AWS Glue ใช้ Deequ ซึ่งเป็นเฟรมเวิร์กโอเพ่นซอร์สที่สร้างโดย Amazon ซึ่งใช้เพื่อจัดการชุดข้อมูลขนาดเพตะไบต์ เนื่องจากสร้างขึ้นโดยใช้โอเพ่นซอร์ส คุณภาพข้อมูลของ AWS Glue จึงมีความยืดหยุ่นและพกพาได้โดยไม่ต้องล็อก-อิน