การนำข้อมูลเข้าคืออะไร

การนำข้อมูลเข้าและแนวทางจะแตกต่างกันไปขึ้นอยู่กับปริมาณ ความเร็ว และกรณีการใช้งานของข้อมูล

การนำข้อมูลเข้าแบบแบทช์

เครื่องมือการนำข้อมูลเข้าแบบแบทช์จะรวบรวมข้อมูลในช่วงเวลาที่กำหนด โดยนำเข้ากลุ่มข้อมูลหลายรายการในครั้งเดียว โดยทั่วไปจะมีการตั้งค่าให้นำข้อมูลเข้าในช่วงเวลาที่กำหนดไว้ เช่น สิ้นวัน สุดสัปดาห์ หรือสิ้นเดือน ตัวอย่างเช่น ซอฟต์แวร์แก้ไขภาพจะอัปโหลดภาพที่แก้ไขทั้งหมดไปยังคลาวด์โดยอัตโนมัติเมื่อสิ้นสุดวัน

การประมวลผลข้อมูลชุดใหญ่อาจเป็นกระบวนการที่รวดเร็วหรือช้าได้หากมีข้อมูลจำนวนมาก หากการถ่ายโอนช้าและเกิดข้อผิดพลาด การเริ่มต้นประมวลผลแบบชุดใหม่อาจมีค่าใช้จ่ายสูงและซับซ้อน วิศวกรที่ใช้การประมวลผลเป็นชุดสร้างไปป์ไลน์ที่ทนต่อความผิดพลาด ซึ่งช่วยให้สามารถเริ่มต้นจากที่ชุดที่ถูกขัดจังหวะครั้งสุดท้ายได้

วิธีการนี้จะได้ผลดีที่สุดเมื่อคุณต้องการวิเคราะห์ข้อมูลในอดีตหรือเมื่อข้อมูลไม่เกี่ยวข้องกับเวลา สำหรับการนำข้อมูลเข้าแบบเกือบเรียลไทม์หรือแบบเรียลไทม์มักจะนิยมใช้วิธีใดวิธีหนึ่งต่อไปนี้

การสตรีมการนำข้อมูลเข้า

เครื่องมือการสตรีมการนำข้อมูลเข้าจะรวบรวมข้อมูลทันทีที่สร้างขึ้น เช่น เมื่อนำเข้าข้อมูลจากเซ็นเซอร์ IoT ที่อ่านอย่างต่อเนื่อง แม้ว่าการสตรีมจะช่วยให้มั่นใจว่าได้เข้าถึงข้อมูลล่าสุด แต่ก็อาจใช้ทรัพยากรมาก วิศวกรข้อมูลต้องรับมือกับข้อผิดพลาดของระบบหรือเครือข่ายและความล่าช้าของเครือข่าย ซึ่งอาจทำให้ข้อมูลสูญหายและเกิดช่องว่างใน Data Stream

การสตรีมการนำข้อมูลเข้ามีสองวิธี

การนำข้อมูลเข้าตามการดึง

เครื่องมือการนำข้อมูลเข้าสืบค้นแหล่งที่มาและดำเนินการแยกข้อมูล โดยอาจทำอย่างต่อเนื่องหรือในช่วงเวลาที่กำหนดไว้ล่วงหน้า

การนำข้อมูลเข้าตามการดัน

แหล่งที่มาของข้อมูลผลักดันข้อมูลเข้าสู่เครื่องมือการนำข้อมูลเข้าทันทีที่สร้างข้อมูลใหม่

การนำข้อมูลเข้าแบบไมโครแบทช์

การนำข้อมูลเข้าแบบไมโครแบทช์จะแบ่ง Data Stream ต่อเนื่องออกเป็นส่วนเล็ก ๆ และจัดการได้มากขึ้นที่เรียกว่าสตรีมแบบแยกส่วน วิธีนี้ปรับสมดุลข้อดีของการนำข้อมูลเข้าแบบแบทช์และแบบสตรีม เหมาะสำหรับสถานการณ์ที่ต้องการการประมวลผลแบบเรียลไทม์ แต่การสตรีมเต็มรูปแบบใช้ทรัพยากรมากเกินไป อย่างไรก็ตาม การนำข้อมูลเข้าแบบแบทช์ขนาดเล็กยังคงมีความล่าช้าเมื่อเทียบกับการนำข้อมูลเข้าแบบสตรีมอย่างเดียว

การประมวลผลแบทช์ขนาดเล็กเป็นวิธีที่คุ้มค่าในการนำข้อมูลเข้าแบบใกล้เรียลไทม์ โดยไม่ต้องเสียค่าใช้จ่ายที่สูงขึ้นที่เกี่ยวข้องกับการสตรีม

การนำข้อมูลเข้าที่ขับเคลื่อนด้วยเหตุการณ์

วิธีนี้เป็นรูปแบบพิเศษของการนำเข้าข้อมูลตามการดัน ระบบที่ขับเคลื่อนด้วยเหตุการณ์จะนำข้อมูลเข้าเมื่อเหตุการณ์หรือทริกเกอร์เฉพาะเกิดขึ้น แทนที่จะนำเข้าอย่างต่อเนื่องหรือในช่วงเวลาที่กำหนด วิธีการนี้มักใช้สำหรับแอปพลิเคชันอย่างเช่น การประมวลผลคำสั่งซื้อ การแจ้งเตือนลูกค้า และการตรวจสอบระบบ วิธีนี้จะช่วยลดการเคลื่อนไหวของข้อมูลที่ไม่จำเป็นและเพิ่มประสิทธิภาพการใช้ทรัพยากรด้วยการนำข้อมูลเข้าเมื่อจำเป็นเท่านั้น อย่างไรก็ตามการทำงานที่มีประสิทธิภาพขึ้นอยู่กับทริกเกอร์เหตุการณ์ที่กำหนดไว้อย่างดีและกลไกการจัดการเหตุการณ์

หน่วยบันทึกข้อมูลที่เปลี่ยนแปลง

หน่วยบันทึกข้อมูลที่เปลี่ยนแปลง (CDC) เป็นประเภทของการนำข้อมูลเข้าตามเหตุการณ์ที่ใช้กันทั่วไปสำหรับการจำลองฐานข้อมูล คลังข้อมูลที่เพิ่มขึ้น และการซิงโครไนซ์ระหว่างระบบกระจาย เครื่องมือการนำข้อมูลเข้าจะรับเฉพาะการเปลี่ยนแปลงที่ทำในฐานข้อมูล แทนที่จะถ่ายโอนชุดข้อมูลทั้งหมด โดยการตรวจสอบเหตุการณ์ในข้อมูลบันทึกการทำธุรกรรม CDC จะระบุการแทรก อัปเดต และลบ โดยเผยแพร่ไปยังระบบอื่นในเวลาใกล้เรียลไทม์ CDC ลดต้นทุนการถ่ายโอนข้อมูลและปรับปรุงประสิทธิภาพ แต่ต้องการการสนับสนุนจากระบบฐานข้อมูลพื้นฐานและอาจมีค่าใช้จ่ายในการประมวลผลบางอย่าง

ความท้าทายบางประการที่องค์กรควรพิจารณาเมื่อนำข้อมูลเข้ามีดังนี้

ปรับขนาด

การปรับขนาดการนำข้อมูลเข้าเป็นเรื่องท้าทายสำหรับองค์กรเนื่องจากปริมาณของข้อมูล และเมื่ออัตราความเร็วของข้อมูลเพิ่มขึ้นเมื่อเวลาผ่านไป

การปรับขนาดแนวนอนและแนวตั้ง

องค์กรใช้กลยุทธ์การปรับขนาดหลัก 2 กลยุทธ์ การปรับขนาดแนวนอนเกี่ยวข้องกับการกระจายเวิร์กโหลดการนำข้อมูลเข้าในหลายโหนด ซึ่งต้องใช้การปรับสมดุลโหลดและการประสานงานที่มีประสิทธิภาพเพื่อป้องกันการเกิดคอขวด การปรับขนาดแนวตั้งจะขึ้นอยู่กับการเพิ่มพลังในการประมวลผลภายในโหนดเดียว ซึ่งสามารถดำเนินการทางวิศวกรรมได้ง่ายขึ้น แต่จะถูกจำกัดโดยศักยภาพในการประมวลผลของโหนดดังกล่าว ความท้าทายที่สำคัญในการดำเนินการนี้คือการตรวจสอบให้แน่ใจว่าระบบเคลื่อนย้ายนำข้อมูลเข้าสามารถจัดการปริมาณข้อมูลที่เพิ่มขึ้นโดยไม่ทำให้ระบบเกิดความล่าช้าหรือล้มเหลว

เพื่อเอาชนะความท้าทายในการปรับขนาด คุณสามารถใช้ Amazon Kinesis Data Streams สำหรับการนำข้อมูลเข้าแบบเรียลไทม์ได้ด้วยการปรับขนาดแนวนอน อีกวิธีหนึ่งคือการใช้ Amazon EMR ที่จะช่วยให้ผู้ใช้สามารถเรียกใช้และปรับขนาดเวิร์กโหลดสำหรับ Apache Spark, Trino และ Big Data อื่น ๆ ได้อย่างง่ายดาย

สถาปัตยกรรมแบบไม่ต้องใช้เซิร์ฟเวอร์

ระบบเคลื่อนย้ายข้อมูลแบบไม่ต้องใช้เซิร์ฟเวอร์เป็นสถาปัตยกรรมการนำข้อมูลเข้าแบบออนดีมานด์ที่ไม่ต้องใช้การกำหนดค่าอินสแตนซ์และการนำไปใช้จริง สถาปัตยกรรมแบบไม่ต้องใช้เซิร์ฟเวอร์เหมาะที่สุดกับรูปแบบการนำข้อมูลเข้าแบบไม่ตายตัวหรือการนำข้อมูลเข้าที่ขับเคลื่อนด้วยเหตุการณ์

ตัวอย่างเช่น ระบบการเคลื่อนย้ายข้อมูลแบบไม่ต้องใช้เซิร์ฟเวอร์บน AWS สามารถสร้างได้ด้วย Amazon Data Firehose และ AWS Lambda

การรักษาความปลอดภัย

การรักษาความปลอดภัยและการปฏิบัติตามข้อกำหนดเป็นข้อกังวลที่สำคัญในระหว่างการนำข้อมูลเข้า โดยเฉพาะอย่างยิ่งเมื่อจัดการกับข้อมูลที่ละเอียดอ่อน องค์กรต้องปฏิบัติตามกฎระเบียบความเป็นส่วนตัวของข้อมูลที่มีข้อกำหนดที่เข้มงวดในการรวบรวม โอนย้าย และจัดเก็บข้อมูล

แนวทางปฏิบัติที่ดีที่สุดบางประการสำหรับการรักษาความปลอดภัยของข้อมูลระหว่างการนำข้อมูลเข้า ได้แก่

• การเข้ารหัสข้อมูลระหว่างการโอนย้ายและระหว่างอยู่ในพื้นที่จัดเก็บ
• การควบคุมการเข้าถึงและกลไกการยืนยันตัวตน
• Data Masking และเทคนิคการปิดบังตัวตนเพื่อปกป้องข้อมูลที่ระบุตัวตนของบุคคลได้ (PII)

เพื่อช่วยปกป้องความปลอดภัยของข้อมูลระหว่างการนำข้อมูลเข้าใน AWS คุณสามารถใช้บริการต่าง ๆ ได้ เช่นบริการต่อไปนี้

• Amazon Macie เพื่อให้ทราบว่าเป็นข้อมูลที่ละเอียดอ่อนโดยใช้แมชชีนเลิร์นนิงและการจับคู่รูปแบบ
• AWS Key Management Service เพื่อเข้ารหัสข้อมูลในเวิร์กโหลด AWS ของคุณ
• AWS PrivateLink สำหรับการเชื่อมต่อระหว่าง Amazon Virtual Private Clouds (VPC) กับบริการของ AWS โดยไม่ต้องเปิดเผยข้อมูลสู่อินเทอร์เน็ต

ความเสถียรของเครือข่าย

การหยุดชะงักของเครือข่าย ความล้มเหลวของ API และความพร้อมใช้งานของข้อมูลที่ไม่สอดคล้องกันอาจรบกวนกระบวนการนำข้อมูลเข้า เหตุการณ์เหล่านี้ก่อให้เกิดเป็นความท้าทายต่าง ๆ เช่น การบกพร่องของข้อมูล การโหลดข้อมูลมากเกินไปจากแหล่งใดแหล่งหนึ่งอาจส่งผลให้ข้อมูลสูญหายหรือทำให้ระบบ (เช่น คลังข้อมูลของคุณ) ช้าลงชั่วคราว อาจจำเป็นต้องใช้การควบคุมปริมาณเพื่อจัดการการโฟลว์ข้อมูลที่สูงขึ้น การจัดการ Backpressure ช่วยให้เครื่องมือการนำข้อมูลเข้าจัดการข้อมูลที่เข้ามาในอัตราที่ตรงกับความสามารถในการประมวลผล

การพยายามซ้ำหรือพยายามประมวลผลข้อมูลที่ล้มเหลวเป็นกลยุทธ์การจัดการข้อผิดพลาดอีกรูปแบบหนึ่ง เครื่องมือการนำข้อมูลเข้าจะส่งคำขอส่งกลับไปยังแหล่งข้อมูลเมื่อระบุข้อมูลที่เสียหายหรือขาดหายไป การลองใหม่จะทำให้ความแม่นยำเพิ่มขึ้น แต่ก็อาจส่งผลกระทบต่ออัตราการโอนถ่ายข้อมูลและเวลาแฝงที่คาดไว้

หาต้องการปรับใช้การลองใหม่อัตโนมัติบน AWS คุณสามารถสร้างเวิร์กโฟลว์ของคุณเองโดยใช้ AWS Step Functions ในขณะที่ Amazon Kinesis จะมีนโยบายและกระบวนการที่กำหนดค่าได้ให้บริการสำหรับการจัดการการรับข้อมูลขาเข้า

คุณภาพข้อมูล

เมื่อข้อมูลมาถึงระบบเคลื่อนย้ายข้อมูลสำหรับการนำข้อมูลเข้าจากแหล่งต่าง ๆ จะไม่มีการรับประกันว่าข้อมูลดังกล่าวจะอยู่ในรูปแบบที่สอดคล้องกับองค์กร แหล่งที่มาของข้อมูลดิบอาจมีค่าที่ขาดหายไป รูปแบบข้อมูลไม่ถูกต้อง และสคีมาไม่ตรงกัน โดยเฉพาะอย่างยิ่งเมื่อทำงานกับข้อมูลที่ไม่มีโครงสร้าง เนื่องจากข้อมูลที่ขาดความสม่ำเสมอจะเพิ่มชั้นของการโต้ตอบและการล้างข้อมูลเพิ่มเติม

เครื่องมือการนำข้อมูลเข้าโดยทั่วไปจะรวมถึงการตรวจสอบคุณภาพของข้อมูลและใช้วิธีการเพื่อตรวจสอบ ล้าง และทำให้ข้อมูลเป็นมาตรฐาน การลดความซ้ำซ้อนอัตโนมัติ การบังคับใช้สคีมา และการตรวจจับความผิดปกติที่ขับเคลื่อนด้วย AI สามารถช่วยระบุและแก้ไขข้อผิดพลาดก่อนที่จะแพร่กระจายไปยังระบบเคลื่อนย้ายข้อมูล

เครื่องมือต่าง ๆ สำหรับคุณภาพข้อมูลบน AWS ได้แก่ การตรวจคุณภาพข้อมูลของ AWS Glue สำหรับกฎคุณภาพและระบบอัตโนมัติ รวมถึง Amazon DataZone สำหรับการจัดแค็ตตาล็อกข้อมูลและการกำกับดูแล

AWS มอบบริการและความสามารถในการนำเข้าข้อมูลประเภทต่าง ๆ ลงในฐานข้อมูล AWS Cloud หรือบริการวิเคราะห์อื่น ๆ ตัวอย่างเช่น:

• Amazon Data Firehose เป็นส่วนหนึ่งของตระกูลบริการ Kinesis ที่ปรับขนาดโดยอัตโนมัติเพื่อให้ตรงกับปริมาณงานและอัตราการโอนถ่ายข้อมูลการสตรีม และไม่จำเป็นต้องมีการดูแลอย่างต่อเนื่อง
• AWS Glue เป็นบริการ ETL แบบไม่ต้องใช้เซิร์ฟเวอร์ที่มีการจัดการอย่างเต็มรูปแบบ ซึ่งจัดหมวดหมู่ ล้าง แปลง และถ่ายโอนข้อมูลระหว่างที่เก็บข้อมูลต่าง ๆ ได้อย่างน่าเชื่อถือด้วยวิธีที่ง่ายและคุ้มค่า
• กลุ่มผลิตภัณฑ์สำหรับการถ่ายโอนข้อมูลของ AWS เป็นบริการถ่ายโอนที่มีการจัดการอย่างเต็มรูปแบบและปลอดภัยสำหรับการย้ายไฟล์เข้าและออกจากบริการจัดเก็บข้อมูล AWS
• ฐานข้อมูล AWS และ AWS Database Migration Service (DMS) มีกลไกสำหรับการบันทึกและสตรีมการเปลี่ยนแปลงจากบริการฐานข้อมูล AWS ทั้งหมด คุณสามารถใช้ CDC แบบเนทีฟจาก Amazon DynamoDB หรือ Amazon Neptune ซึ่งช่วยให้คุณลดความซับซ้อนของไปป์ไลน์การผสานการทำงานข้อมูลของคุณ อีกทางเลือกหนึ่งคือการใช้ CDC ใน AWS Database Migration Service (DMS) ซึ่งแยกการเปลี่ยนแปลงจากบันทึกการทำรายการของแหล่งที่มา DMS เป็นบริการที่พร้อมใช้งานสูง โดยมีความยืดหยุ่นสำหรับงานจำลองข้อมูลที่ดำเนินการนานในลักษณะนี้ได้ จากนั้น Data Stream ของคุณก็จะสามารถเปลี่ยนและกระจายได้โดยใช้ Amazon MSK, Amazon Kinesis หรือ AWS Glue
• Amazon Managed Streaming สำหรับ Apache Kafka (Amazon MSK) เป็นบริการที่มีการจัดการเต็มรูปแบบทำให้สามารถสร้างและเรียกใช้แอปพลิเคชันที่ใช้ Apache Kafka แบบโอเพนซอร์สสำหรับสตรีมการนำข้อมูลเข้าได้ง่าย

คุณยังสามารถติดตั้งแพลตฟอร์มการนำข้อมูลเข้าที่กำหนดเองบน Amazon EC2 และ Amazon EMR และสร้างเลเยอร์การจัดเก็บและการประมวลผลข้อมูลสตรีมของคุณเอง ผลลัพธ์ที่ได้จึงช่วยให้คุณเลี่ยงอุปสรรคในการจัดเตรียมโครงสร้างพื้นฐาน รวมทั้งการเข้าถึงเฟรมเวิร์กการจัดเก็บและการประมวลผลสตรีมต่าง ๆ ได้

เริ่มต้นใช้งานการนำข้อมูลเข้าบน AWS ด้วยการสร้างบัญชีฟรีวันนี้