Apache Iceberg คืออะไร?

Data Lake คือพื้นที่เก็บข้อมูลส่วนกลางที่ให้คุณสามารถเก็บข้อมูลที่มีโครงสร้างและไม่มีโครงสร้างทั้งหมดของคุณในทุกระดับ การทำธุรกรรมข้อมูลเป็นชุดของการแลกเปลี่ยนข้อมูลที่จะดำเนินการในการดำเนินการเพียงครั้งเดียว ตัวอย่างเช่น เมื่อลูกค้าถอนเงินจากบัญชีธนาคาร ธนาคารจะดำเนินการแลกเปลี่ยนข้อมูลหลายรายการในเวลาเดียวกันในการทำธุรกรรม ซึ่งข้อมูลหนึ่งๆประกอบด้วย การตรวจสอบบัญชีมียอดคงเหลือเพียงพอหรือไม่ การตรวจสอบตัวตน และการหักเงินถอนออกจากบัญชี Transectional Data Lake เป็นชนิดของdata lake ที่ไม่เพียงแต่เก็บข้อมูลในระดับหนึ่ง แต่ยังสนับสนุนการดำเนินการทำธุรกรรม เพื่อให้แน่ใจว่าข้อมูลมีความถูกต้องสอดคล้อง และช่วยให้คุณสามารถติดตามวิธีการเปลี่ยนแปลงข้อมูลและโครงสร้างข้อมูลเมื่อเวลาผ่านไป คุณสมบัติเหล่านี้เป็นที่รู้จักกันในชื่อ Atomicity Consistency Isolation and Durability (ACID):

• การเป็นหน่วยเดียวที่แบ่งแยกไม่ได้ (Atomicity) รับประกันว่าธุรกรรมแต่ละครั้งจะเป็นเหตุการณ์เดียวที่ประสบความสำเร็จหรือล้มเหลวโดยสมบูรณ์อย่างใดอย่างหนึ่ง ไม่มีสถานะครึ่งๆ กลางๆ 
• ความสอดคล้องกัน (Consistency) ให้ความมั่นใจว่าข้อมูลทั้งหมดที่เขียนจะถูกต้องตามกฎที่กำหนดไว้ของ Data Lake เพื่อรับรองว่าข้อมูลมีความถูกต้องและเชื่อถือได้ 
• การแยกอิสระ (Isolation) ให้ความมั่นใจว่าธุรกรรมหลายรายการสามารถเกิดขึ้นในเวลาเดียวกันโดยไม่รบกวนซึ่งกันและกัน เพื่อรับประกันว่าแต่ละธุรกรรมจะดำเนินการได้อย่างเป็นอิสระ
• ความทนทาน (Durability) หมายความว่าข้อมูลจะไม่สูญหายหรือเสียหายเมื่อมีการส่งธุรกรรม ข้อมูลสามารถกู้คืนได้ในกรณีที่ระบบล้มเหลว เช่น ไฟฟ้าดับ

Apache Iceberg เหมาะสำหรับหลายกรณีการใช้ข้อมูล Data Lake ได้แก่:

• ตารางข้อมูลในData lakeที่จำเป็นต้องลบบ่อย เช่น เมื่อบังคับใช้กฎหมายความเป็นส่วนตัวของข้อมูล
• ตารางข้อมูลใน Data Lake ที่จำเป็นต้องมีการปรับปรุงระดับระเบียน สิ่งนี้จะเป็นประโยชน์เมื่อชุดข้อมูลของคุณต้องมีการปรับปรุงให้ทันสมัยบ่อยๆ หลังจากสรุปข้อมูลแล้ว ตัวอย่างเช่น ข้อมูลการขาย ที่อาจมีการเปลี่ยนแปลงเนื่องจากเหตุการณ์ที่เกิดภายหลัง เช่นการส่งคืนสินค้าจากลูกค้า Iceberg มีความสามารถในการปรับปรุงระเบียนของแต่ละบุคคลโดยไม่จำเป็นต้องเผยแพร่ชุดข้อมูลทั้งหมด
• ตารางข้อมูลในData lake ที่มีการเปลี่ยนแปลงที่คาดเดาไม่ได้ เช่น ตารางขนาดการเปลี่ยนช้า (SCD) ตัวอย่างของ SCD เป็นตารางการบันทึกลูกค้าที่มีชื่อสถานที่และข้อมูลการติดต่อซึ่งอาจมีการเปลี่ยนแปลงในช่วงเวลาที่ไม่รู้จัก
• เมื่อการทำธุรกรรมกับ Data Lake ต้องรับประกันความถูกต้องของข้อมูล ความทนทาน และความน่าเชื่อถือในรูปแบบตาราง Apache Iceberg สามารถนำไปใช้เพื่อให้แน่ใจในการทำธุรกรรม ACID transaction
• เมื่อมีความจำเป็นที่จะต้องย้อนเวลากลับไปสอบถามข้อมูลในอดีตเพื่อทำการวิเคราะห์แนวโน้ม วิเคราะห์การเปลี่ยนแปลงข้อมูลในช่วงระยะเวลาหนึ่ง หรือเพื่อเรียกคืนหรือย้อนกลับไปยังเวอร์ชันก่อนหน้าเพื่อแก้ไขปัญหา

Apache Iceberg มีวิธีที่มีประสิทธิภาพในการประมวลผลอย่างรวดเร็วสำหรับชุดข้อมูลขนาดใหญ่ มันนำมาซึ่งประโยชน์ดังต่อไปนี้

1. โอเพนซอร์ส: Apache Iceberg เป็นโครงการโอเพนซอร์สซึ่งหมายความว่ามันมีอิสระที่จะใช้และสามารถปรับแต่งเพื่อตอบสนองความต้องการเฉพาะของคุณ นอกจากนี้ยังมีชุมชนที่กระตือรือร้นของนักพัฒนาที่มีการปรับปรุงอย่างต่อเนื่องและเพิ่มคุณสมบัติใหม่ให้กับโครงการ 
2. ความสามารถในการปรับขนาด: Apache Iceberg ถูกออกแบบมาเพื่อจัดการกับชุดข้อมูลขนาดใหญ่ได้อย่างมีประสิทธิภาพ มันสามารถแบ่งพาร์ทิชันและจัดระเบียบข้อมูลข้ามหลายโหนด ซึ่งจะช่วยกระจายภาระงานและเพิ่มความเร็วในการประมวลผลข้อมูล 
3. ผลการดำเนินงาน: Apache Iceberg มีความหลากหลายของคุณสมบัติเพื่อเพิ่มประสิทธิภาพการทำงานของแบบสอบถาม รวมทั้งการจัดเก็บคอลัมน์ และเทคนิคการบีบอัด เช่น พุชดาวน์ และ Schema evolution 
4. ความยืดหยุ่น: Apache Iceberg ช่วยให้คุณสามารถเปลี่ยนวิธีการจัดระเบียบข้อมูลของคุณเพื่อที่จะสามารถพัฒนาในช่วงเวลาโดยไม่ต้องให้คุณเขียนคำสั่งของคุณหรือสร้างโครงสร้างข้อมูลของคุณใหม่อีกครั้ง นอกจากนี้ยังสนับสนุนรูปแบบข้อมูลและแหล่งข้อมูลหลายรูปแบบ ซึ่งทำให้ง่ายต่อการบูรณาการกับระบบที่มีอยู่ 
5. ความน่าเชื่อถือ: Apache Iceberg ช่วยให้มั่นใจในความสอดคล้องของข้อมูลและความน่าเชื่อถือผ่านการสนับสนุนสำหรับการทำธุรกรรม คุณสามารถติดตามการเปลี่ยนแปลงของข้อมูลเมื่อเวลาผ่านไป และย้อนกลับไปเป็นเวอร์ชันเก่าเพื่อช่วยคุณแก้ไขปัญหา