Amazon Kinesis Data Firehose 是將串流資料載入資料存放區和分析工具最簡單的方式。Kinesis Data Firehose 是一種全受管的服務,可輕鬆擷取來自成千上萬個來源的大量串流資料,並將這些資料進行轉換並載入 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、Kinesis Data Analytics、一般 HTTP 端點以及 Datadog、New Relic、MongoDB 和 Splunk 等服務供應商,以進行近乎即時的分析及洞見。

交付串流

交付串流是 Kinesis Data Firehose 的基礎實體。您透過建立交付串流,然後將資料傳送至交付串流來使用 Kinesis Data Firehose。

主要特色

輕鬆啟動和設定

您只要在 AWS 管理主控台按幾下滑鼠即可啟動 Amazon Kinesis Data Firehose 並建立交付串流,將資料載入至 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、HTTP 端點、Datadog、New Relic、MongoDB 或 Splunk。您可以呼叫 Firehose API 或執行我們在資料來源提供的 Linux 代理器,將資料傳送到交付串流。Kinesis Data Firehose 接著會持續將資料載入指定目的地。

以幾乎即時的速度載入新資料

您可以指定批次大小或批次間隔,以控制資料上傳至目的地的速度。例如,如果您想在將資料傳送到交付串流的 60 秒內收到新資料,則可以將批次間隔設定為 60 秒。此外,還可以指定是否要壓縮資料。服務支援常見的壓縮演算法,包含 GZip、Hadoop-Compatible Snappy、Zip 和 Snappy。上傳前對資料進行批次處理和壓縮,可讓您控制目的地收到新資料的速度。

彈性擴展,以處理各種資料輸送量

啟動後,您的交付串流會自動擴展和縮減每秒處理的 GB 數或提高輸入資料速率,並在限制內維持您為串流指定的資料延遲等級。不需要進行干預或維護工作。

支援內建資料格式轉換

Apache Parquet 和 Apache ORC 等單欄資料格式,已透過 Amazon Athena、Amazon Redshift Spectrum、Amazon EMR 等服務和其他 Hadoop 工具進行優化,可提供符合經濟效益的儲存和分析。Amazon Kinesis Data Firehose 可將傳入資料的格式從 JSON 轉換成 Parquet 或 ORC 格式,然後將該資料存放到 Amazon S3,讓您節省儲存和分析的成本。 進一步了解 »

整合的資料轉換

您可以設定 Amazon Kinesis Data Firehose 先準備好串流資料,然後再將它載入資料存放區。只需從 AWS 管理主控台中的 Amazon Kinesis Data Firehose 交付串流組態標籤選取一個 AWS Lambda 函數。然後 Amazon Kinesis Data Firehose 會自動將該函數套用到每筆輸入的資料記錄,並將轉換過的資料載入目標。Amazon Kinesis Data Firehose 提供預先建立的 Lambda 藍圖,這些藍圖可將 Apache 日誌和系統日誌這類常見的資料來源轉換為 JSON 和 CSV 格式。您可以直接使用這些預先建立的藍圖,不需進行任何變更,或是進一步自訂它們,甚至是編寫您自己的自訂函數。您也可以設定 Amazon Kinesis Data Firehose 自動重試失敗的任務,以及備份原始串流資料。進一步了解 »

支援多個資料目的地

Amazon Kinesis Data Firehose 目前支援 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、HTTP 端點、Datadog、New Relic、MongoDB 和 Splunk 做為目的地。您可以指定目的地為 Amazon S3 儲存貯體、Amazon Redshift 表、Amazon Elasticsearch Service 網域、一般 HTTP 端點或是要載入資料的服務供應商。

選用自動化加密

Amazon Kinesis Data Firehose 提供的選項可讓您在將資料上傳到目的地之後自動加密資料。您可以在設定交付串流時,指定 AWS Key Management System (KMS) 加密金鑰。

監控效能的指標

Amazon Kinesis Data Firehose 透過主控台和 Amazon CloudWatch 公開多個指標,其中包含提交的資料量、上傳到目的地的資料量、來源到目的地的時間、交付串流限制、限制的記錄數及上傳成功率。您可以使用這些指標監控交付串流的運作狀態,並採取任何必要動作 (例如修改目的地、設定接近限制的警報),以及確保服務將資料擷取並載入目的地。

按用量付費的定價

使用 Amazon Kinesis Data Firehose 時,您只需就透過此服務傳輸的資料量付費,以及資料格式轉換費 (如適用)。另外,您需要支付 Amazon VPC 交付和資料傳輸費用 (如適用)。沒有最低費用,也無須前期承諾。您不需要指派人員操作、擴展和維護基礎設施,或自訂應用程式來擷取並載入串流資料。

進一步了解 Amazon Kinesis Data Firehose 定價

瀏覽定價頁面
準備好開始使用了嗎?
註冊
還有其他問題嗎?
聯絡我們