Amazon Data Firehose 會將資料串流傳遞至 Amazon S3 中的 Apache Iceberg 格式資料表

張貼日期: 2024年10月1日

Amazon Data Firehose (Firehose) 現在可將資料串流傳遞到 Amazon S3 中的 Apache Iceberg 資料表。

Firehose 讓客戶能夠取得、轉換資料，並將資料串流傳遞至 Amazon S3、Amazon Redshift、OpenSearch、Splunk、Snowflake 和其他目的地以進行分析。憑藉此新功能，Firehose 會與 Apache Iceberg 整合，因此客戶就能夠將資料串流直接傳遞到 Amazon S3 資料湖中的 Apache Iceberg 資料表。Firehose 可以從 Kinesis 資料串流、Amazon MSK 或直接 PUT API 取得資料串流，並且也會經過整合，以從 AWS 服務取得串流，AWS 服務包含 AWS WAF 網頁 ACL 日誌、Amazon CloudWatch Logs、Amazon VPC 流程日誌、AWS IOT、Amazon SNS、AWS API 閘道存取日誌等 (更多其他服務會在此處列出)。客戶可以將任何這些來源的資料直接串流至 Amazon S3 中的 Apache Iceberg 資料表中，並會避免多步驟流程。Firehose 是無伺服器的，因此客戶可以透過設定來源和目的地屬性來簡單設置串流，並根據處理的位元組數付費。

新功能還允許客戶根據傳入記錄的內容，將資料串流中的記錄路由到不同的 Apache Iceberg 資料表。若要將記錄路由至不同的資料表，客戶可以使用 JSON 運算式設定路由規則。此外，客戶可以指定傳入記錄是否應在目的地 Apache Iceberg 資料表中套用資料列層級更新或刪除作業，並自動處理資料更正和遺忘權案例。

若要開始使用，請參閱 Amazon Data Firehose 文件、定價和主控台。