AWS ประกาศการสนับสนุนเวกเตอร์การลบ Apache Iceberg V3 และลำดับแถว
ตอนนี้ AWS รองรับเวกเตอร์การลบและลำดับแถวที่กำหนดไว้ในข้อกำหนด Apache Iceberg เวอร์ชัน 3 (V3) ฟีเจอร์ใหม่เหล่านี้มีให้กับ Apache Spark บน Amazon EMR 7.12, AWS Glue, โน๊ตบุ๊ก Amazon SageMaker, ตาราง Amazon S3 และแค็ตตาล็อกข้อมูลของ AWS Glue
ความสามารถของ Iceberg V3 เหล่านี้ช่วยให้ลูกค้าสร้าง Data Lake ข้อมูลขนาดเพทาไบต์ด้วยประสิทธิภาพที่ดีขึ้นสำหรับการปรับเปลี่ยนข้อมูลและการทำงานเพื่อติดตามบันทึกที่เปลี่ยนแปลงได้อย่างง่ายดาย เวกเตอร์การลบทำการเขียนไฟล์ลบที่ปรับให้เหมาะสมซึ่งช่วยเร่งไปป์ไลน์ข้อมูลและลดค่าใช้จ่ายในการลดขนาดข้อมูล ลำดับแถวมีฟิลด์ข้อมูลเมตาในแต่ละระเบียนเพื่อติดตามการเปลี่ยนแปลงด้วยคำสั่งสืบค้น SQL ที่เรียบง่าย ซึ่งจะช่วยลดค่าใช้จ่ายในการคำนวณในการค้นพบการเปลี่ยนแปลงเล็กน้อยในตารางขนาดใหญ่
เริ่มสร้างตาราง V3 โดยการตั้งค่าคุณสมบัติตารางเป็น 'format-version = 3' ในคำสั่ง CREATE TABLE ใน Spark หรือ โน๊ตบุ๊ก SageMaker หากต้องการอัปเกรดตารางที่มีอยู่ เพียงอัปเดตคุณสมบัติตารางในข้อมูลเมตาด้วยรูปแบบเวอร์ชันใหม่ เมื่อคุณทำเช่นนี้ เอนจินคำสั่งสืบค้น AWS ที่รองรับ V3 จะเริ่มใช้เวกเตอร์การลบและลำดับแถวโดยอัตโนมัติ
เวกเตอร์การลบ Iceberg V3 และลำดับแถวสามารถใช้ได้แล้วใน AWS Region ทั้งหมดซึ่งรองรับบริการ/ฟีเจอร์แต่ละรายการ เช่น Amazon EMR, AWS Glue, โน๊ตบุ๊ก SageMaker, Tables S3 และแค็ตตาล็อกข้อมูลของ AWS Glue หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ AWS Support สำหรับ Iceberg V3 โปรดไปที่ Apache Iceberg V3 บน AWS และอ่านโพสต์บล็อก