ขณะนี้ Aurora PostgreSQL รองรับการสืบค้นข้อมูล Apache Iceberg และ Parquet แล้ว
ตั้งแต่วันนี้เป็นต้นไป คุณสามารถสืบค้นข้อมูลเชิงปฏิบัติการควบคู่ไปกับข้อมูลที่จัดเก็บอยู่ใน Data Lake ในรูปแบบ Apache Iceberg และ Parquet ได้โดยตรงผ่านแอปพลิเคชันและเครื่องมือ PostgreSQL ที่คุณใช้งานอยู่เดิม โดยไม่จำเป็นต้องมีไปป์ไลน์กระบวนการ Extract, Transform and Load (ETL) หรือการทำซ้ำข้อมูลแต่อย่างใด
แอปพลิเคชันต่าง ๆ มีความจำเป็นมากขึ้นในการเข้าถึงข้อมูลจาก Data Lake ซึ่งมักจัดเก็บอยู่ในรูปแบบ Apache Iceberg และ Parquet เพื่อช่วยในการตัดสินใจบนพื้นฐานข้อมูลที่ครบถ้วนและแม่นยำยิ่งขึ้น รวมถึงช่วยสร้างระบบอัตโนมัติให้กับกระบวนการทางธุรกิจ โดยปกติแล้ว การเข้าถึงข้อมูลดังกล่าวจำเป็นต้องมีไปป์ไลน์เพื่อคัดลอกข้อมูลจาก Data Lake ไปยัง Aurora ซึ่งส่งผลให้มีค่าใช้จ่ายและภาระงานด้านวิศวกรรมเพิ่มขึ้นเมื่อมีการปรับเปลี่ยนสคีมา ด้วยการเปิดตัวครั้งนี้ คุณสามารถสร้างตาราง Foreign Table ใน PostgreSQL เพื่ออ้างอิงข้อมูล Iceberg หรือ Parquet ที่จัดเก็บอยู่ใน Amazon S3, ตาราง Amazon S3 หรือแค็ตตาล็อกข้อมูลของ AWS Glue ได้ เมื่อลูกค้าส่งคำสั่งสืบค้นข้อมูลไปยัง Foreign Table เหล่านี้ Aurora จะใช้เอ็นจิ้นการสืบค้นประสิทธิภาพสูงของ DuckDB ซึ่งถูกฝังไว้ภายใน PostgreSQL เพื่อประมวลผลคำสั่งดังกล่าวกับข้อมูล Iceberg และ Parquet ที่อยู่เบื้องหลัง แอปพลิเคชันและเครื่องมือ BI ที่คุณมีอยู่ยังคงใช้งานอินเทอร์เฟซ PostgreSQL แบบเดิมต่อไป
นอกจากนี้ คุณยังสามารถสืบค้นตารางจากแค็ตตาล็อกภายนอกที่ใช้งานร่วมกับ Iceberg REST Catalog (IRC) ได้ ซึ่งมีข้อมูลเชื่อมโยงกับส่วนกลางผ่านแค็ตตาล็อกข้อมูลของ AWS Glue โดยไม่ต้องย้ายหรือทำซ้ำข้อมูลอีกด้วย สำหรับเวิร์กโหลดที่ไวต่อเวลาแฝง คุณสามารถนำข้อมูลในรูปแบบ Iceberg หรือ Parquet มาจัดเก็บในรูปแบบตาราง Aurora PostgreSQL แบบเนทีฟได้โดยใช้คำสั่ง SQL มาตรฐาน โดยไม่จำเป็นต้องมีไปป์ไลน์ ETL
ความสามารถนี้เปิดให้ใช้งานทั่วไปบน Aurora PostgreSQL เวอร์ชัน 17.11, 18.6 และเวอร์ชันที่สูงกว่า ในรีเจี้ยน AWS เชิงพาณิชย์และ GovCloud (สหรัฐฯ) ทุกแห่งโดยไม่มีค่าใช้จ่ายเพิ่มเติม ในการเริ่มต้นใช้งาน ให้ใช้คอนโซล Amazon RDS หรือไคลเอ็นต์ PostgreSQL ใดก็ได้ หากต้องการเรียนรู้เพิ่มเติม โปรดดูบล็อกโพสต์หรือเอกสารประกอบ