Amazon Data Firehose ส่งมอบ Data Stream ลงในตารางรูปแบบ Apache Iceberg ใน Amazon S3
Amazon Data Firehose (Firehose) สามารถส่งมอบ Data Stream ลงในตาราง Apache Iceberg ใน Amazon S3 ได้แล้ว
Firehose ช่วยให้ลูกค้าสามารถรับ แปลง และส่งมอบ Data Stream ไปยัง Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake และปลายทางอื่น ๆ สำหรับการวิเคราะห์ได้ ด้วยฟีเจอร์ใหม่นี้ Firehose จะผสานกับ Apache Iceberg เพื่อให้ลูกค้าสามารถส่งมอบ Data Stream ลงในตาราง Apache Iceberg ได้โดยตรงใน Data Lake ของ Amazon S3 Firehose สามารถรับ Data Stream จาก Kinesis Data Stream, Amazon MSK หรือ Direct PUT API และยังผสานรวมเพื่อรับสตรีมจากบริการของ AWS เช่น ข้อมูลบันทึก ACL บนเว็บ AWS WAF, Amazon CloudWatch Logs, Amazon VPC Flow Logs, AWS IOT, Amazon SNS, ข้อมูลบันทึกการเข้าถึง AWS API Gateway และอื่น ๆ อีกมากมายที่ระบุไว้ที่นี่ ลูกค้าสามารถสตรีมข้อมูลจากแหล่งเหล่านี้ไปยังตาราง Apache Iceberg ได้โดยตรงใน Amazon S3 และเลี่ยงกระบวนการหลายขั้นตอน Firehose ไม่ต้องใช้เซิร์ฟเวอร์ ดังนั้นลูกค้าสามารถตั้งค่าสตรีมได้โดยการกำหนดค่าคุณสมบัติแหล่งที่มาและปลายทาง และชำระเงินตามไบต์ที่ประมวลผล
ฟีเจอร์ใหม่นี้ยังช่วยให้ลูกค้าสามารถกำหนดเส้นทางบันทึกใน Data Stream ไปยังตาราง Apache Iceberg ที่แตกต่างกันตามเนื้อหาของบันทึกขาเข้า ลูกค้าสามารถกำหนดค่ากฎการจัดเส้นทางโดยใช้นิพจน์ JSON เพื่อกำหนดเส้นทางบันทึกไปยังตารางต่าง ๆ นอกจากนี้ ลูกค้าสามารถระบุว่าบันทึกขาเข้าควรใช้การอัปเดตระดับแถวหรือการดำเนินการลบในตาราง Apache Iceberg ปลายทาง และทำการประมวลผลโดยอัตโนมัติสำหรับการแก้ไขข้อมูลและสิทธิ์ในการลืมสถานการณ์
ในการเริ่มต้น โปรดไปที่เอกสารประกอบ ค่าบริการ และคอนโซลของ Amazon Data Firehose