Amazon Redshift เพิ่มการรองรับการสร้างและรีเฟรชมุมมองผลการสืบค้นของ Apache Iceberg
Amazon Redshift รองรับการสร้างและรีเฟรชมุมมองผลการสืบค้นของ Apache Iceberg แล้ว มุมมองผลการสืบค้นจะคำนวณการเชื่อมตารางและการรวมข้อมูลที่ใช้ทรัพยากรสูงไว้ล่วงหน้าเพียงครั้งเดียว และจัดเก็บผลลัพธ์ไว้ในตาราง Apache Iceberg ใน Amazon S3 หรือบัคเก็ตตาราง Amazon S3 ซึ่งลงทะเบียนไว้ในแค็ตตาล็อกข้อมูลของ AWS Glue มุมมองผลการสืบค้นสร้างขึ้นโดยใช้ SQL ที่คุ้นเคย — CREATE MATERIALIZED VIEW ... USING ICEBERG และผลลัพธ์สามารถสืบค้นได้ทันทีด้วยเอ็นจิ้นใด ๆ ที่ใช้งานร่วมกับ Iceberg ได้ ซึ่งรวมถึง Amazon Athena, Apache Spark บน Amazon EMR และ AWS Glue รวมถึงเอ็นจิ้นจากบุคคลที่สาม เช่น Trino หรือ Snowflake Redshift จะทำให้มุมมองผลการสืบค้นเหล่านี้เป็นปัจจุบันอยู่เสมอ โดยคำนวณใหม่เฉพาะส่วนที่มีการเปลี่ยนแปลงด้วยการรีเฟรชแบบเพิ่มทีละส่วนด้วยตนเอง และเนื่องจากผลลัพธ์เป็นตาราง Iceberg ในแค็ตตาล็อกข้อมูลของ AWS Glue จึงสามารถกำกับดูแลและค้นพบได้เช่นเดียวกับตารางอื่น ๆ ในแค็ตตาล็อก
ทีมข้อมูลมักสร้างกระบวนการวิเคราะห์เป็นหลายขั้นตอน โดยเชื่อมต่อเอ็นจิ้นต่าง ๆ เข้าด้วยกันเพื่อทำความสะอาดและแปลงข้อมูลดิบก่อนนำไปให้บริการ วิธีนี้เพิ่มภาระในการควบคุมระบบของไปป์ไลน์ และอาจทำให้เกิดความแตกต่างด้านความหมายระหว่างเอ็นจิ้น มุมมองผลการสืบค้นของ Iceberg มอบคุณค่าได้สองด้าน ประการแรก แทนที่ผู้ใช้และทีมหลายร้อยรายจะเรียกใช้การเชื่อมตารางและการรวมข้อมูลที่ใช้ทรัพยากรสูงซ้ำ ๆ และสแกนตารางต้นทางใหม่ทุกครั้งที่มีการสืบค้น คุณสามารถคำนวณผลลัพธ์เพียงครั้งเดียว แล้วให้ทุกคนอ่านจากตารางที่คำนวณไว้ล่วงหน้า ประการที่สอง คุณสามารถเรียกใช้ไปป์ไลน์แบบครบวงจรโดยใช้เอ็นจิ้นเดียว เช่น Apache Spark และในขณะนี้รวมถึง Amazon Redshift โดยผู้ใช้ปลายทางทั้งหมดสามารถใช้ผลลัพธ์แบบเปิดชุดเดียวกันร่วมกันได้ โดยไม่ต้องรับภาระในการควบคุมระบบของหลายเอ็นจิ้น ไม่ว่าจะใช้วิธีใด เอาต์พุตจะเป็นตาราง Iceberg แบบเปิดที่เอ็นจิ้นใด ๆ สามารถอ่านได้โดยไม่ต้องทำสำเนาหรือแปลงข้อมูล คุณยังสามารถโหลดตารางเหล่านี้ลงใน Redshift Managed Storage (RMS) ในรูปแบบมุมมองผลการสืบค้นแบบเนทีฟของ RMS สำหรับแดชบอร์ดที่ต้องการประสิทธิภาพสูงที่สุดของคุณได้
คุณสามารถสร้างมุมมองผลการสืบค้นของ Iceberg ได้ในทุกรีเจี้ยนที่รองรับ Amazon Redshift แบบไม่ต้องใช้เซิร์ฟเวอร์และอินสแตนซ์ Graviton ที่จัดสรรไว้ ดูข้อมูลเพิ่มเติมได้ที่มุมมองผลการสืบค้นที่จัดเก็บเป็นตาราง Apache Iceberg ในคู่มือนักพัฒนาฐานข้อมูล Amazon Redshift, เอกสารอ้างอิงคำสั่ง CREATE MATERIALIZED VIEW และบล็อกโพสต์ Materialize once, query anywhere