Amazon Data Firehose mengirimkan aliran data ke tabel format Apache Iceberg di Amazon S3
Amazon Data Firehose (Firehose) sekarang dapat mengirimkan aliran data ke tabel Apache Iceberg di Amazon S3.
Firehose memungkinkan pelanggan memperoleh, mengubah, dan mengirimkan aliran data ke Amazon S3, Amazon Redshift, Splunk, Snowflake, dan tujuan lainnya untuk analitik. Dengan fitur baru ini, Firehose terintegrasi dengan Apache Iceberg, sehingga pelanggan dapat mengirimkan aliran data langsung ke tabel Apache Iceberg di danau data Amazon S3 mereka. Firehose dapat memperoleh aliran data dari Kinesis Data Streams, Amazon MSK, atau Direct PUT API, dan juga terintegrasi untuk memperoleh aliran dari Layanan AWS seperti log ACL web AWS WAF, Log Amazon CloudWatch, Log Amazon VPC Flow, AWS IOT, Amazon SNS, log Akses AWS API Gateway, dan banyak lainnya yang tercantum di sini. Pelanggan dapat melakukan streaming data dari salah satu sumber ini langsung ke tabel Apache Iceberg di Amazon S3, dan menghindari proses multilangkah. Firehose bersifat nirserver, sehingga pelanggan dapat dengan mudah mengatur aliran dengan mengonfigurasi properti sumber dan tujuan, dan membayar berdasarkan byte yang diproses.
Fitur baru ini juga memungkinkan pelanggan untuk merutekan catatan dalam aliran data ke tabel Apache Iceberg yang berbeda berdasarkan isi catatan yang masuk. Untuk merutekan catatan ke tabel yang berbeda, pelanggan dapat mengonfigurasi aturan perutean menggunakan ekspresi JSON. Selain itu, pelanggan dapat menentukan apakah catatan masuk harus menerapkan pembaruan tingkat baris atau operasi penghapusan di tabel Apache Iceberg tujuan, dan mengotomatiskan pemrosesan untuk koreksi data dan skenario hak untuk melupakan.
Untuk memulai, kunjungi dokumentasi, harga, dan konsol Amazon Data Firehose.