ความสมบูรณ์ของข้อมูลคืออะไร

การตรวจสอบความสมบูรณ์ของข้อมูลภายในองค์กรจำเป็นต้องจัดการกับความท้าทายในการจัดการข้อมูลที่เกี่ยวข้องกับมนุษย์และเทคโนโลยี

สภาพแวดล้อม OLTP

ความท้าทายด้านความสมบูรณ์ของข้อมูลที่สำคัญที่สุดในสภาพแวดล้อม OLTP คือการจัดการธุรกรรมที่เกิดขึ้นพร้อมกันในขณะที่ยังคงรักษาความสอดคล้องกันของข้อมูล โดยเฉพาะอย่างยิ่งในช่วงที่มีการดำเนินการในปริมาณสูง ความท้าทายนี้ทำให้จำเป็นต้องรักษาสมดุลระหว่างการรับประกันความถูกต้องของฐานข้อมูล (Atomicity), ความสอดคล้อง (Consistency), การแยกแยะ (Isolation) และความทนทาน (Durablility) โดยผู้ใช้หลายรายจะต้องสามารถปรับเปลี่ยนข้อมูลเดียวกันได้พร้อมกันโดยไม่ต้องเผชิญกับเงื่อนไขการแข่งขันและการหยุดชะงัก พร้อมทั้งคงความสามารถในการประมวลผลแบบเรียลไทม์ของระบบไว้ได้

ข้อมูลและการวิเคราะห์ทางธุรกิจ

สำหรับกรณีการใช้งานด้านข้อมูลและการวิเคราะห์ทางธุรกิจ การผสานการทำงานที่จำกัดระหว่างแหล่งที่มาของข้อมูลและระบบทำให้บริษัทต่าง ๆ ไม่สามารถรักษามุมมองที่ถูกต้องและครบวงจรของสินทรัพย์ข้อมูลของตนได้ นอกจากนี้ การพึ่งพาการป้อนและการรวบรวมข้อมูลด้วยตนเองอาจทำให้เกิดการพิมพ์ผิด การละเว้น และความไม่สอดคล้องกันที่ส่งผลกระทบต่อความแม่นยำของข้อมูล

การตรวจสอบและเส้นทางข้อมูล

ความท้าทายอีกประการหนึ่งคือการไม่มีเส้นทางการตรวจสอบที่เหมาะสม ทำให้การติดตามประวัติข้อมูลตั้งแต่การรวบรวมไปจนถึงการลบเป็นเรื่องยาก องค์กรเสี่ยงที่จะไม่ทราบถึงการปรับเปลี่ยนข้อมูลที่ไม่ได้รับอนุญาต ระบบที่ล้าสมัยโดยการใช้รูปแบบไฟล์ที่ล้าสมัยหรือขาดฟังก์ชันการตรวจสอบความถูกต้องที่จำเป็นทำให้ความสมบูรณ์ของข้อมูลมีความซับซ้อนยิ่งขึ้น การย้ายข้อมูลไปยังระบบคลาวด์ทำให้สามารถใช้กลไกคุณภาพข้อมูลที่เป็นการรวมศูนย์มากขึ้น พร้อมทั้งลดเวลาและการดำเนินการที่จำเป็นต้องใช้ในการตรวจสอบความสมบูรณ์ของข้อมูล

พิจารณามาตรการต่อไปนี้เพื่อปรับใช้ความสมบูรณ์เชิงตรรกะใน AWS Cloud

ปรับใช้ความสมบูรณ์ของข้อมูลอ็อบเจกต์

การดำเนินการกับข้อมูลบนคลาวด์ส่วนใหญ่จะเริ่มต้นด้วยบัคเก็ต Amazon S3 ซึ่งสามารถจัดเก็บข้อมูลเป็นอ็อบเจกต์ได้ ไม่ว่าจะเป็นข้อมูลประเภทใดก็ตาม คุณอาจย้ายข้อมูลไปมาบ่อยครั้งระหว่างบัคเก็ต Amazon S3, ฐานข้อมูล และบริการคลาวด์อื่น ๆ หรือพื้นที่เก็บข้อมูลในองค์กร Amazon S3 มีกลไกการตรวจสอบความผิดพลาดในตัวเพื่อลดความเสี่ยงด้านความสมบูรณ์ของข้อมูลระหว่างการอัปโหลด ดาวน์โหลด และคัดลอก

การตรวจสอบความผิดพลาดคือค่าที่มีความยาวคงที่และไม่ซ้ำกันที่สร้างจากข้อมูลโดยใช้อัลกอริทึมเฉพาะ กลไกดังกล่าวจะสร้างลายนิ้วมือดิจิทัลที่ไม่ซ้ำกันขึ้นมา ช่วยให้ระบบสามารถตรวจหาจุดบกพร่องที่เกิดกับข้อมูลหรือการแก้ไขที่ไม่ได้ตั้งใจ เมื่อคัดลอกอ็อบเจกต์ Amazon S3 จะคำนวณการตรวจสอบความผิดพลาดของอ็อบเจกต์ต้นทางและนำไปใช้กับอ็อบเจกต์ปลายทาง กลไกดังกล่าวจะแจ้งเตือนในกรณีที่ข้อมูลไม่ตรงกัน Amazon S3 รองรับทั้งการตรวจสอบความผิดพลาดแบบทั้งอ็อบเจกต์และการตรวจสอบความผิดพลาดแบบคอมโพสิตสำหรับการอัปโหลดหลายส่วน การตรวจสอบความผิดพลาดแบบทั้งอ็อบเจกต์จะตรวจสอบทั้งไฟล์ ในขณะที่การตรวจสอบความผิดพลาดแบบคอมโพสิตจะเป็นการรวมการตรวจสอบความผิดพลาดในแต่ละส่วน

ใช้ฟังก์ชันการตรวจสอบความผิดพลาดตามที่อธิบายไว้ด้านล่าง

การอัปโหลด

Amazon S3 รองรับอัลกอริทึมแฮชที่ปลอดภัย (SHA) และอัลกอริทึมการตรวจจับข้อผิดพลาดในการส่งข้อมูล (CRC) หลายแบบ รวมถึง CRC-64/NVME, CRC-32, CRC-32C, SHA-1 และ SHA-256 หากใช้คอนโซลการจัดการของ AWS ให้เลือกอัลกอริทึมการตรวจสอบความผิดพลาดในระหว่างการอัปโหลด หากไม่ได้ระบุการตรวจสอบความผิดพลาด Amazon S3 จะใช้ค่าเริ่มต้น CRC-64/NVME

การดาวน์โหลด

เมื่อดาวน์โหลดอ็อบเจกต์ ให้ขอค่าการตรวจสอบความผิดพลาดที่จัดเก็บไว้เพื่อตรวจสอบยืนยันความสมบูรณ์ของข้อมูล ให้ดึงข้อมูลค่าการตรวจสอบความผิดพลาดโดยใช้การดำเนินการ GetObject, HeadObject หรือ ListParts ทั้งนี้ ขึ้นอยู่กับว่าการอัปโหลดเสร็จสมบูรณ์หรือยังอยู่ในระหว่างดำเนินการ

การคัดลอก

หากมีการคัดลอกอ็อบเจกต์โดยใช้การดำเนินการ CopyObject Amazon S3 จะสร้างการตรวจสอบความผิดพลาดโดยตรงสำหรับทั้งอ็อบเจกต์ดังกล่าว หากอ็อบเจกต์ดังกล่าวได้รับการอัปโหลดเป็นหลาย ๆ ส่วนในตอนแรก ค่าการตรวจสอบความผิดพลาดจะมีการเปลี่ยนแปลงเมื่อคัดลอกแม้ว่าข้อมูลจะยังคงเดิมก็ตาม

ปรับใช้ความสมบูรณ์ของระบบเคลื่อนย้ายข้อมูล

กรณีการใช้งานทั่วไปอีกกรณีหนึ่งคือการย้ายข้อมูลไปยัง Data Lake บนระบบคลาวด์ คลังข้อมูล หรือบริการฐานข้อมูลที่มีการจัดการ การตั้งค่าการตรวจสอบความสมบูรณ์ของข้อมูลในระบบเคลื่อนย้ายข้อมูลดังกล่าวนั้นมีแนวโน้มที่จะเกิดข้อผิดพลาด น่าเบื่อหน่าย และใช้เวลานาน คุณต้องเขียนโค้ดตรวจติดตามด้วยตนเอง รวมถึงกฎคุณภาพข้อมูลที่แจ้งเตือนผู้บริโภคข้อมูลทราบเมื่อคุณภาพของข้อมูลลดลง

ระหว่างการย้ายข้อมูล

AWS Database Migration Service (DMS) จะปกป้องความสมบูรณ์ของข้อมูลในระหว่างการย้ายข้อมูลไปยังฐานข้อมูล AWS Cloud ผ่านกลไกการป้องกันและกลไกการตรวจสอบความถูกต้องมากมายในตัว DMS จะดำเนินการตรวจสอบความถูกต้องโดยอัตโนมัติเพื่อเปรียบเทียบข้อมูลต้นทางกับข้อมูลปลายทาง ระบุหาและแก้ไขความคลาดเคลื่อนโดยการซิงโครไนซ์ข้อมูลอีกครั้ง

DMS ประกอบด้วยฟีเจอร์จุดตรวจสอบและการกู้คืนที่ช่วยให้การย้ายข้อมูลกลับมาดำเนินการต่อจากจุดที่มีสถานะที่ดีสุดท้ายที่รู้จำได้ ในกรณีที่เกิดการหยุดชะงัก ในขณะเดียวกันก็ให้ความสามารถในการตรวจสอบและบันทึกข้อมูลที่ครอบคลุมเพื่อติดตามความคืบหน้าในการย้ายข้อมูล นอกจากนี้ DMS ยังรับประกันความปลอดภัยของข้อมูลผ่านการเข้ารหัส SSL สำหรับข้อมูลที่อยู่ระหว่างการโอนย้ายและการผสานการทำงานเข้ากับบริการรักษาความปลอดภัยของ AWS

โครงสร้างพื้นฐานของฐานข้อมูล

ฐานข้อมูล AWS จะปกป้องความสมบูรณ์ของข้อมูลผ่านกลไกและฟีเจอร์ที่ครอบคลุมหลายรายการ รวมถึงการสำรองข้อมูลอัตโนมัติและการใช้งานอินสแตนซ์แบบ Multi-AZ ที่ช่วยให้มั่นใจว่าข้อมูลจะมีความทนทานและสอดคล้องตรงกัน ฐานข้อมูลเหล่านี้บังคับใช้ความสมบูรณ์ของการอ้างอิงผ่านข้อจำกัดในตัว รักษาการปฏิบัติตามข้อกำหนด ACID เพื่อให้เกิดความสอดคล้องตรงกันในด้านการทำธุรกรรม และช่วยให้สามารถกู้คืนข้อมูลในจุดเวลาที่กำหนดได้ บริการฐานข้อมูลที่มีการจัดการ เช่น Amazon Relational Database Service (RDS) และ Amazon Aurora ช่วยให้คุณสามารถตั้งค่าการควบคุมต่าง ๆ ที่ต้องการสำหรับความสมบูรณ์ของข้อมูลได้ ตัวอย่างเช่น Aurora ช่วยให้คุณสามารถตั้งค่าระดับการแยกธุรกรรมที่แตกต่างกันในฐานข้อมูล OLTP ของคุณได้

เพื่อให้ป้องกันได้ดียิ่งขึ้น ฐานข้อมูล AWS จึงรองรับกระบวนการกู้คืนจากความเสียหายโดยมีการนำไปใช้จริงในหลายภูมิภาค ซึ่งเป็นการจำลองข้อมูลไว้ในภูมิภาคต่าง ๆ ที่กระจายกันไปในพื้นที่ทางภูมิศาสตร์ทั่วโลก การผสานการทำงานกับ Amazon CloudWatch ช่วยระบุหาและแก้ไขปัญหาด้านความสมบูรณ์ของข้อมูลที่อาจเกิดขึ้นก่อนที่จะส่งผลกระทบต่อการดำเนินงาน

การผสานการทำงานด้านข้อมูล

AWS Glue เป็นบริการผสานการทำงานด้านข้อมูลแบบไม่ต้องใช้เซิร์ฟเวอร์สำหรับการเตรียมและรวมข้อมูลใน AWS Cloud ฟีเจอร์การตรวจคุณภาพข้อมูลของ AWS Glue จะช่วยลดการดำเนินการในการตรวจสอบความถูกต้องของข้อมูลด้วยตนเองจากเดิมที่ใช้หลายวันให้เหลือไม่ถึงวัน ฟีเจอร์นี้จะแนะนำกฎคุณภาพโดยอัตโนมัติ คำนวณสถิติ รวมถึงติดตามและแจ้งเตือนคุณเมื่อตรวจพบข้อมูลที่ไม่ถูกต้องหรือไม่สมบูรณ์ ฟีเจอร์ใช้ร่วมกับ Data Quality Definition Language (DQDL) ได้ ซึ่งเป็นภาษาเฉพาะโดเมนที่คุณใช้เพื่อกำหนดกฎความสมบูรณ์ของข้อมูล

ในการรวบรวมข้อมูลจากระบบ OLTP เพื่อใช้ในการวิเคราะห์ คุณสามารถใช้ระบบเคลื่อนย้ายข้อมูล AWS Glue เพื่อส่งข้อมูลจากฐานข้อมูลของตนไปยังบริการด้านการวิเคราะห์ได้

คุณสามารถเผยแพร่ตัวชี้วัดไปยัง Amazon CloudWatch เพิ่มเติมเพื่อตรวจติดตามและแจ้งเตือนได้

ปรับใช้ความสมบูรณ์ของการสำรองข้อมูล

โปรเจ็กต์ขนาดใหญ่ขององค์กรอาจมีหลายทีมสำรองข้อมูลและเข้าถึงร้านค้า Amazon S3 จากสถานที่ที่หลากหลาย การกำกับดูแลข้อมูลกลายเป็นความท้าทายในการดำเนินการสำรองข้อมูลที่กระจัดกระจายเช่นเดียวกับในกรณีข้างต้น โปรดทราบว่าฐานข้อมูล AWS มาพร้อมกับฟีเจอร์การสำรองข้อมูลในตัว

AWS Backup เป็นบริการที่มีการจัดการเต็มรูปแบบ ซึ่งช่วยให้ปกป้องข้อมูลในบริการต่าง ๆ ของ AWS ได้โดยอัตโนมัติและในที่เดียว เช่น Amazon Simple Storage Service (S3), Amazon Elastic Compute Cloud (EC2), Amazon FSx และเวิร์กโหลดไฮบริดใน VMware คุณสามารถนำนโยบายปกป้องข้อมูลจากส่วนกลางไปใช้เพื่อควบคุม จัดการ และกำหนดค่ากิจกรรมการสำรองข้อมูลของคุณในทรัพยากรและบัญชีของ AWS

AWS Backup ได้รับการออกแบบมาเพื่อรักษาความสมบูรณ์ของข้อมูลตลอดวงจรชีวิตของข้อมูล ตั้งแต่การส่งและการจัดเก็บไปจนถึงการประมวลผล บริการนี้ใช้มาตรการรักษาความปลอดภัยที่เข้มงวดกับข้อมูลที่เก็บไว้ทั้งหมด ไม่ว่าจะเป็นข้อมูลประเภทใดก็ตาม ซึ่งจะทำให้มั่นใจได้ว่าจะป้องกันการเข้าถึงข้อมูลโดยไม่ได้รับอนุญาตได้ดีขึ้น คุณยังคงสามารถควบคุมการจำแนกประเภทข้อมูล สถานที่จัดเก็บ และนโยบายความปลอดภัยได้อย่างครบถ้วนสมบูรณ์ ทำให้ผู้ใช้สามารถจัดการ เก็บถาวร และปกป้องข้อมูลได้ตามต้องการ

AWS Backup ใช้ร่วมกับบริการอื่น ๆ ของ AWS ได้เพื่อรักษาความสมบูรณ์ของข้อมูลโดยใช้หลากหลายกลไก ซึ่งรวมถึง

• การตรวจสอบความถูกต้องของการตรวจสอบความผิดพลาดอย่างต่อเนื่องเพื่อป้องกันไม่ให้มีจุดบกพร่อง
• การตรวจสอบความผิดพลาดภายในเพื่อตรวจสอบยืนยันความสมบูรณ์ของข้อมูลในระหว่างการโอนย้ายและพักจัดเก็บ
• การกู้คืนข้อมูลสำรองอัตโนมัติในกรณีที่ดิสก์ล้มเหลว

ข้อมูลจะได้รับการสำรองไว้ในหลาย ๆ ตำแหน่งที่ตั้งบนโลกจริง และการตรวจสอบในระดับเครือข่ายยังช่วยตรวจหาจุดบกพร่องระหว่างการถ่ายโอนข้อมูลอีกด้วย