Amazon Data Firehose 現在支援將資料交付到 Apache Iceberg 表格,並已在更多 AWS 區域提供

張貼日期: 2024年11月6日

Amazon Data Firehose 支援將資料串流交付到 Amazon S3 中的 Apache Iceberg 表格,並已在所有 AWS 區域提供,除了 AWS China、AWS GovCloud 和 ap-southeast-5 區域。

憑藉此功能,Firehose 會與 Apache Iceberg 整合,因此客戶就能夠將資料串流直接傳遞到 Amazon S3 資料湖中的 Apache Iceberg 資料表。Firehose 可以從 Kinesis 資料串流、Amazon MSK 或直接 PUT API 取得資料串流,並且也會經過整合,以從 AWS 服務取得串流,AWS 服務包含 AWS WAF 網頁 ACL 日誌、Amazon CloudWatch Logs、Amazon VPC 流程日誌、AWS IOT、Amazon SNS、AWS API 閘道存取日誌等 (更多其他服務會在此處列出)。客戶可以將任何這些來源的資料直接串流至 Amazon S3 中的 Apache Iceberg 資料表中,並會避免多步驟流程。Firehose 是無伺服器的,因此客戶可以透過設定來源和目的地屬性來簡單設置串流,並根據處理的位元組數付費。

新功能還允許客戶根據傳入記錄的內容,將資料串流中的記錄路由到不同的 Apache Iceberg 資料表。若要將記錄路由至不同的資料表,客戶可以使用 JSON 運算式設定路由規則。此外,客戶可以指定傳入記錄是否應在目的地 Apache Iceberg 資料表中套用資料列層級更新或刪除作業,並自動處理資料更正和遺忘權案例。

若要進一步了解和開始使用,請參閱 Amazon Data Firehose 文件定價主控台