คลังข้อมูล, Data Lake และ Data Mart แตกต่างกันอย่างไร

องค์กรทุกวันนี้สามารถเข้าถึงข้อมูลที่เพิ่มปริมาณขึ้นเรื่อยๆ อย่างไรก็ตาม องค์กรเหล่านี้ต้องจัดเรียง ดำเนินการ คัดแยก และวิเคราะห์ข้อมูลดิบเพื่อนำไปใช้ประโยชน์ ในขณะเดียวกัน พวกเขาต้องทำตามกฎการป้องกันข้อมูลและความปลอดภัย ตัวอย่างเช่น แนวทางการปฏิบัติที่องค์กรต้องทำตาม ซึ่งได้แก่

• รวบรวมข้อมูลจากหลายแหล่ง เช่น แอปพลิเคชัน ผู้ขาย Internet of Things (IoT) ผู้พิจารณาเนื้อหาสิ่งพิมพ์ และองค์กรภายนอกอื่นๆ
• จัดการให้ข้อมูลอยู่ในรูปแบบที่แม่นยำ น่าเชื่อถือ และมีประโยชน์ ตัวอย่างเช่น หลายองค์กรสามารถจัดการข้อมูลให้วันที่ทั้งหมดในระบบอยู่ในรูปแบบมาตรฐาน หรือสรุปรายงานประจำวัน
• จัดเตรียมข้อมูลโดยสร้างรูปแบบไฟล์ XML สำหรับซอฟต์แวร์แมชชีนเลิร์นนิง หรือสร้างรายงานสำหรับมนุษย์

หลายองค์กรใช้เครื่องมือและโซลูชันที่หลากหลาย เพื่อให้ได้มาซึ่งผลลัพธ์จากการวิเคราะห์ข้อมูลที่พวกเขาต้องการ คลังข้อมูล, Data Mart และ Data Lake คือทางออกที่จะช่วยเก็บข้อมูล

อ่านเพิ่มเติมเกี่ยวกับ XML »

ประโยชน์ของคลังข้อมูล, Data Lake และ Data Mart ที่เก็บบนระบบคลาวด์

โซลูชันการเก็บข้อมูลทั้ง 3 แบบนี้ช่วยให้มีข้อมูลที่พร้อม มีความเสถียร และมีความปลอดภัยมากขึ้น ตัวอย่างวิธีการใช้งานมีดังนี้

• เก็บข้อมูลทางธุรกิจของคุณอย่างปลอดภัยเพื่อนำไปวิเคราะห์
• เก็บข้อมูลได้อย่างไม่จำกัดปริมาณ และเก็บได้นานเท่าที่ต้องการ
• ตรวจสอบข้อมูลด้วยการผสมผสานข้อมูลจากการดำเนินการธุรกิจหลากหลายที่
• วิเคราะห์ข้อมูลทางประวัติศาสตร์หรือฐานข้อมูลที่เป็นมรดก
• ตรวจสอบการวิเคราะห์แบบเรียลไทม์หรือแบบเป็นชุด

นอกจากนี้ ทั้งสามทางเลือกนี้ต่างก็คุ้มกับค่าใช้จ่าย เพราะคุณจ่ายเฉพาะพื้นที่เก็บข้อมูลที่คุณใช้เท่านั้น คุณสามารถเก็บข้อมูลของคุณได้ทั้งหมด นำไปวิเคราะห์เพื่อหารูปแบบและแนวโน้ม และใช้ข้อมูลเพื่อเพิ่มประสิทธิภาพการดำเนินธุรกิจของคุณ

คลังข้อมูลและ Data Lake เป็นสองเทคโนโลยีที่เกี่ยวข้องกัน แต่โดยพื้นฐานแล้วแตกต่างกัน ในขณะที่คลังข้อมูลจะจัดเก็บข้อมูลตามโครงสร้าง แต่ Lake จะเป็นแหล่งเก็บข้อมูลส่วนกลางที่ให้คุณจัดเก็บข้อมูลได้ทุกขนาด Data Lake มีตัวเลือกในการจัดเก็บข้อมูลมากกว่า มีความซับซ้อนมากกว่า และมีกรณีการใช้งานที่แตกต่างกันเมื่อเทียบกับคลังข้อมูล ความแตกต่างหลักแสดงไว้ด้านล่างดังนี้

แหล่งที่มาของข้อมูล

Data Lake และคลังข้อมูลสามารถมีแหล่งที่มาของข้อมูลได้ไม่จำกัด อย่างไรก็ตาม คลังข้อมูลกำหนดให้คุณต้องออกแบบสคีมาก่อนจึงจะสามารถบันทึกข้อมูลได้ คุณสามารถโหลดเฉพาะข้อมูลที่มีโครงสร้างเข้าสู่ระบบได้เท่านั้น แต่ในทางกลับกัน Data Lake ไม่มีข้อกำหนดดังกล่าว ซึ่งสามารถจัดเก็บข้อมูลที่ไม่มีโครงสร้างและกึ่งมีโครงสร้าง เช่น ข้อมูลบันทึกของเว็บเซิร์ฟเวอร์ คลิกสตรีม โซเชียลมีเดีย และข้อมูลเซ็นเซอร์

กระบวนการก่อนการประมวลผล

คลังข้อมูลโดยทั่วไปต้องมีการประมวลผลล่วงหน้าก่อนการจัดเก็บ เครื่องมือกระบวนการ Extract, Transform Load (ETL) จะถูกใช้เพื่อล้าง กรอง และจัดโครงสร้างชุดข้อมูลล่วงหน้า ในทางตรงกันข้าม Data Lake จะเก็บข้อมูลใดๆ คุณจึงมีความยืดหยุ่นโดยสามารถเลือกได้ว่าต้องการประมวลผลล่วงหน้าหรือไม่ ซึ่งโดยทั่วไปแล้ว องค์กรจะใช้เครื่องมือกระบวนการ Extract, Load, Transform (ELT) โดยจะโหลดข้อมูลใน Lake ก่อน แล้วแปลงเมื่อจำเป็นเท่านั้น

คุณภาพข้อมูล

คลังข้อมูลมีแนวโน้มที่น่าเชื่อถือมากกว่า เนื่องจากคุณสามารถดำเนินการประมวลผลล่วงหน้าได้ ซึ่งฟังก์ชันต่างๆ เช่น การขจัดข้อมูลซ้ำซ้อน การเรียงลำดับ การสรุป และการตรวจสอบ ก็มารถทำได้ล่วงหน้าเพื่อรับรองความถูกต้องของข้อมูล ข้อมูลที่ซ้ำกันหรือผิดพลาดและไม่ได้รับการตรวจสอบก็อาจจบลงที่ Data Lake หากไม่มีการตรวจสอบล่วงหน้า

ประสิทธิภาพ

คลังข้อมูลได้รับการออกแบบมาเพื่อประสิทธิภาพการสืบค้นที่เร็วที่สุด ผู้ใช้ทางธุรกิจต้องการคลังข้อมูลเพื่อให้สามารถสร้างรายงานได้อย่างมีประสิทธิภาพมากขึ้น แต่ในทางตรงกันข้าม สถาปัตยกรรม Data Lake ให้ความสำคัญกับปริมาณพื้นที่จัดเก็บและต้นทุนมากกว่าประสิทธิภาพ คุณจะได้พื้นที่เก็บข้อมูลมากขึ้นในราคาที่ถูกลง และยังสามารถเข้าถึงข้อมูลด้วยความเร็วที่เหมาะสม

 

คุณลักษณะ	คลังเก็บข้อมูล	Data Lake
ข้อมูล	ข้อมูลแบบเชิงสัมพันธ์จากระบบธุรกรรม ฐานข้อมูลเชิงปฏิบัติการ และกลุ่มแอปพลิเคชันทางธุรกิจ	ข้อมูลทั้งหมดที่มีโครงสร้าง กึ่งมีโครงสร้าง และไม่มีโครงสร้าง
สคีมา	มักจะถูกออกแบบมาก่อนหน้าการใช้คลังข้อมูล แต่ก็ยังสามารถเขียนได้ในขั้นตอนการวิเคราะห์ (schema-on-write หรือ schema-on-read)	เขียนเมื่อมีการวิเคราะห์ (schema-on-read)
ราคา/ประสิทธิภาพ	ผลการสืบค้นที่รวดเร็วที่สุดโดยใช้พื้นที่เก็บภายใน	จะได้ผลการสืบค้นเร็วขึ้นเมื่อใช้พื้นที่จัดเก็บราคาถูก และยกเลิกการเชื่อมต่อระหว่างคอมพิวเตอร์กับพื้นที่จัดเก็บ
คุณภาพข้อมูล	ข้อมูลที่จัดเตรียมอย่างดีซึ่งใช้เป็นความจริงพื้นฐาน	ข้อมูลใดๆ ที่อาจได้รับหรือไม่ได้รับการจัดเตรียม (เช่น ข้อมูลดิบ)
ผู้ใช้	นักวิเคราะห์ทางธุรกิจ นักวิทยาศาสตร์ข้อมูล และนักพัฒนาข้อมูล	นักวิเคราะห์ทางธุรกิจ (โดยใช้ข้อมูลที่จัดเตรียม) นักวิทยาศาสตร์ข้อมูล และนักพัฒนาข้อมูล วิศวกรข้อมูล และสถาปนิกข้อมูล
การวิเคราะห์	การรายงานเป็นชุด, BI และการแสดงภาพ	แมชชีนเลิร์นนิง การวิเคราะห์เชิงสำรวจ การค้นหาข้อมูล การสตรีม การวิเคราะห์เชิงปฏิบัติการ Big Data และการทำโปรไฟล์
	เรียนรู้เพิ่มเติมเกี่ยวกับคลังข้อมูล	เรียนรู้เพิ่มเติมเกี่ยวกับ Data Lake

AWS นำเสนอบริการวิเคราะห์ที่หลากหลายที่สุดซึ่งตรงกับความต้องการด้านการวิเคราะห์ข้อมูลของคุณทั้งหมด เราช่วยให้อุตสาหกรรมและองค์กรทุกขนาดได้สร้างธุรกิจใหม่ด้วยการใช้ข้อมูล ตัวอย่างวิธีการใช้ AWS มีดังนี้

• ใช้ Amazon Redshift สำหรับการจัดเก็บข้อมูลในคลังข้อมูลและความต้องการของ Data Mart คุณสามารถรับข้อมูลเชิงลึกแบบผสานรวมด้วยการเรียกใช้การวิเคราะห์เชิงคาดการณ์แบบเรียลไทม์บนข้อมูลที่ซับซ้อนและปรับขนาดได้ทั่วทั้ฐานข้อมูลเชิงปฏิบัติการ, Data Lake, คลังข้อมูล และชุดข้อมูลภายนอกหลายพันชุด คุณสามารถสร้าง ฝึกอบรม และปรับใช้โมเดลแมชชีนเลิร์นนิงโดยอัตโนมัติได้ง่ายๆ
• ใช้ AWS Lake Formation เพื่อสร้าง จัดการ และจัดเก็บ Data Lake ให้ปลอดภัยได้ภายในไม่กี่วัน นำเข้าข้อมูลจากแหล่งที่มาของข้อมูลทั้งหมดของคุณอย่างรวดเร็ว จากนั้น อธิบายและจัดการข้อมูลเหล่านั้นในแค็ตตาล็อกข้อมูลแบบรวมศูนย์
• ใช้ Amazon S3 เพื่อสร้าง Data Lake สำหรับการวิเคราะห์ Big Data ปัญญาประดิษฐ์ แมชชีนเลิร์นนิ่ง และแอปพลิเคชันคอมพิวเตอร์ปฏิบัติการขั้นสูง

เริ่มต้นใช้งานการเก็บข้อมูลบน AWS ด้วยการสร้างบัญชีฟรีวันนี้