Amazon Data Firehose

可穩定地將即時串流載入資料湖、資料倉儲和分析服務中

輕鬆擷取、轉換和載入串流資料。只需點擊幾次,即可建立交付串流、選擇目的地,然後開始串流即時資料。

無需持續管理,即可自動佈建和擴展運算、記憶體和網路資源。

將原始串流資料轉換為 Apache Parquet 等格式,並動態分區串流資料,而無需建置處理管道。

連接至 30 多種完全整合的 AWS 服務和串流目的地,例如 Amazon Simple Storage Service (S3) 和 Amazon Redshift。

運作方式

Amazon Data Firehose 提供了最簡單的方法,可在幾秒鐘內擷取、轉換資料串流,並將其傳遞至資料湖、資料倉儲和分析服務。要使用 Amazon Data Firehose,您可以設定包含來源、目的地和必要轉換的串流。Amazon Data Firehose 會持續處理串流,根據可用的資料量自動擴展,並在幾秒鐘內予以傳遞。

來源

選取資料串流的來源,例如 Amazon Managed Streaming for Kafka (MSK) 中的主題、Kinesis Data Streams 中的串流,或使用 Firehose Direct PUT API 寫入資料。Amazon Data Firehose 已整合到 20 多個 AWS 服務中,因此您可以從 Amazon CloudWatch Logs、AWS WAF Web ACL logs、AWS Network Firewall Logs、Amazon SNS 或 AWS IoT 等來源設定串流。

資料轉換 (選用)

指定您是否要將資料串流轉換為 Parquet 或 ORC 等格式、解壓縮資料、使用您自己的 AWS Lambda 函數執行自訂資料轉換,或根據屬性動態分割輸入記錄,以傳遞到不同的位置。

目的地

選取串流目的地,例如 Amazon S3、Amazon OpenSearch Service、Amazon Redshift、Splunk、Snowflake 或自訂 HTTP 端點。

如需有關 Amazon Data Firehose 的詳細資訊,請參閱 Amazon Data Firehose 文件

圖表顯示如何使用 Amazon Firehose 設定資料交付串流。如同「放大並讀取影像描述」連結所述。

使用案例

串流至資料湖和倉儲

無需建置處理管道,即可將資料串流至 Amazon S3,並將資料轉換為可供分析之用的必要格式。

提高安全性

當潛在威脅出現時,使用受支援的安全資訊和事件管理 (SIEM) 工具來即時監控網路安全,並建立提醒。

建置機器學習 (ML) 串流應用程式

使用機器學習 (ML) 模型來豐富您的資料串流,以在串流移至其目的地時,分析資料並預測推論端點。

如何開始使用

檢閱開發人員指南

進一步了解 Amazon Data Firehose。

與專家交流

申請概念驗證或評估支援。

探索定價

了解四種隨需使用定價。


探索更多 AWS 服務