Amazon Kinesis Data Firehose 是將串流資料載入資料存放區和分析工具最簡單的方式。Kinesis Data Firehose 是一種全受管的服務,可輕鬆擷取來自成千上萬個來源的大量串流資料,並將這些資料進行轉換並載入 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、Kinesis Data Analytics 和 Splunk,以進行近乎即時的分析及洞見。

開始免費使用 AWS

建立免費帳戶

獲得 12 個月的 AWS 免費用量方案,同時享受 AWS 的基本支援功能,包括全年無休的客戶服務、支援論壇等等。AWS 免費方案目前不包括 Amazon Kinesis Data Firehose。


您可以啟動 Amazon Kinesis Data Firehose 並建立交付串流,只要在 AWS 管理主控台按幾下滑鼠即可將資料載入 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service 或 Splunk。您可以呼叫 Firehose API 將資料傳送到交付串流,或者執行我們在資料來源提供的 Linux 代理器。接著,Kinesis Data Firehose 就會持續將資料載入 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service 和 Splunk。

您可以指定批次大小或批次間隔,以控制資料上傳至目標的速度。例如,如果您想在將資料傳送到交付串流的 60 秒內收到新資料,則可以將批次間隔設定為 60 秒。此外,還可以指定是否要壓縮資料。服務支援常見的壓縮演算法,包含 GZip 和 Snappy。上傳前對資料進行批次處理和壓縮可讓您控制在目標收到新資料的速度。

啟動後,您的交付串流會自動擴展和縮減以處理每秒幾 GB 或更高的輸入資料速率,並維持您為串流指定的資料延遲等級。不需要進行干預或維護工作。

您可以設定 Amazon Kinesis Data Firehose 先準備好串流資料,然後再將它載入資料存放區。只需從 AWS 管理主控台中的 Amazon Kinesis Data Firehose 交付串流組態標籤選取一個 AWS Lambda 函數。然後 Amazon Kinesis Data Firehose 會自動將該函數套用到每筆輸入的資料記錄,並將轉換過的資料載入目標。Amazon Kinesis Data Firehose 提供預先建立的 Lambda 藍圖,這些藍圖可將 Apache 日誌和系統日誌這類常見的資料來源轉換為 JSON 和 CSV 格式。您可以直接使用這些預先建立的藍圖,不需進行任何變更,或是進一步自訂它們,甚至是編寫您自己的自訂函數。您也可以設定 Amazon Kinesis Data Firehose 自動重試失敗的任務,以及備份原始串流資料。 進一步了解 »

Amazon Kinesis Data Firehose 目前支援 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service 和 Splunk 做為目標。您可以指定要載入資料的目標為 Amazon S3 儲存貯體、Amazon Redshift 表、Amazon Elasticsearch 網域或 Splunk 叢集。

Amazon Kinesis Data Firehose 提供的選項可讓您在將資料上傳到目標之後自動加密資料。您可以在設定交付串流時,指定 AWS Key Management System (KMS) 加密金鑰。

Amazon Kinesis Data Firehose 透過主控台和 Amazon CloudWatch 公開多個指標,其中包含提交的資料量、上傳到目標的資料量、來源到目標的時間及上傳成功率。您可以使用這些指標監控交付串流的運作狀態,並採取任何必要動作 (像是修改目標),以及確保服務將資料導入並載入目標。

使用 Amazon Kinesis Data Firehose 時,您只需支付透過此服務所傳輸的資料量費用。沒有最低費用或預付款項。您不需要指派人員操作、擴展和維護基礎設施,或自訂應用程式來擷取並載入串流資料。