Amazon Kinesis Data Firehose

準備即時資料串流並載入資料存放區和分析工具

Amazon Kinesis Data Firehose 是將串流資料載入資料存放區和分析工具最簡單可靠的方式。它可以擷取串流資料,並將資料轉換和載入 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service 及 Splunk,再使用現有的商業智慧工具以及您目前正在使用的儀表板進行近乎即時的分析。這是一項全受管的服務,可自動擴展以因應資料的輸送量,而且不用全程管理。它也可以在載入資料之前先進行批次處理、壓縮、轉換及加密,以大幅減少目標使用的儲存體數量及提高安全性。

您可以從 AWS 管理主控台輕鬆地建立 Firehose 交付串流,按幾下按鍵進行設定,然後開始從數十萬個要載入 AWS 的資料來源持續將資料傳送至串流,而這整個程序只需要幾分鐘。 您也可以設定交付串流,在資料交付到 Amazon S3 之前自動將傳入資料轉換成 Apache Parquet 和 Apache ORC 等單欄格式,以進行符合經濟效益的儲存和分析。

使用 Kinesis Data Firehose 時,您只需支付透過此服務傳輸的資料量費用,而且如果適用,還需支付資料格式轉換費用。沒有最低費用也沒有設定費用。

影片:什麼是 Amazon Kinesis Data Firehose?

優勢

易於使用

Amazon Kinesis Data Firehose 提供一個簡單的方式來擷取、轉換和載入串流資料,只需在 AWS 管理主控台中按幾下按鍵即可。您只需要建立 Firehose 交付串流、選取目標,就可以開始從數十萬個資料來源同時傳送即時資料。服務會根據您指定的時間間隔,負責處理將資料持續載入目標所需的串流管理,包括所有擴展、共享及監控。

與 AWS 資料存放區整合

Amazon Kinesis Data Firehose 已經與 Amazon S3、Amazon Redshift 及 Amazon Elasticsearch Service 整合。您可以從 AWS 管理主控台將 Kinesis Data Firehose 指向 Amazon S3 儲存貯體、Amazon Redshift 資料表或 Amazon Elasticsearch 網域。然後您可以使用現有的分析應用程式和工具來分析串流資料。

無伺服器資料轉換

Amazon Kinesis Data Firehose 可讓您將串流資料準備好,再載入資料存放區。使用 Kinesis Data Firehose,您可以輕鬆地將原始串流資料從資料來源轉換為目標資料存放區要求的格式,無須建立您自己的資料處理管道。進一步了解 »

近乎即時的速度

Amazon Kinesis Data Firehose 以接近即時的速度來擷取和載入資料。它可以在資料傳送到服務之後的 60 秒內,將新的資料載入 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service 及 Splunk。因此能讓您更快存取新資料,以及迅速地因應商業和營運事件。

無須全程管理

Amazon Kinesis Data Firehose 是一項全受管服務,它會自動佈建、管理及擴展用來載入串流資料所需的運算、記憶體和網路資源。設定好 Kinesis Data Firehose 之後,即可在資料到達時持續載入它們。

只需按實際用量付費

使用 Amazon Kinesis Data Firehose 時,您只需支付透過此服務傳輸的資料量費用,而且如果適用,還需支付資料格式轉換費用。沒有最低費用或前期承諾。

運作方式

product-page-diagram_Amazon-Kinesis-Data-Firehose

使用案例

IoT Analytics

有了 Amazon Kinesis Data Firehose,您可以持續從連線裝置 (例如,家用電器、內嵌感應器以及電視機上盒) 擷取資料。Kinesis Data Firehose 將資料載入 Amazon S3 和 Amazon Redshift,讓您的客戶能以近乎即時的速度存取指標、洞見和儀表板。


點擊流分析

您可以使用 Amazon Kinesis Data Firehose 交付數位內容的即時指標,讓作者與行銷人員以最有效率的方式與客戶進行交流。您可以串流經過壓縮、加密的幾十億則簡短訊息,並交付到 Amazon Elasticsearch Service 和 Amazon Redshift。您可以從該處彙總、篩選和處理資料,並以近乎即時的速度重新整理內容效能儀表板。例如,Hearst Corporation 使用 Kinesis Data Firehose 建立點擊流分析平台,每天可傳輸和處理來自全球超過 300 個網站的 30 TB 資料。使用此平台,Hearst 能夠在幾分鐘內將包含網站點擊率到彙總指標的完整資料串流提供給編輯人員。閱讀案例研究 »


日誌分析

在雲端和現場部署執行的應用程式和伺服器日誌資料,可協助您監控應用程式和快速排除故障。例如,您可以偵測到正在發生的應用程式錯誤,並透過收集、監控和分析日誌資料找出根本原因。您可以在伺服器上輕鬆安裝和設定 Amazon Kinesis 代理器,以自動查看應用程式和伺服器日誌檔,並將資料傳送到 Kinesis Data Firehose。Kinesis Data Firehose 可持續將日誌資料串流到 Amazon Elasticsearch Service,讓您透過 Kibana 視覺化資料並進行分析。 


安全監控

Kinesis Data Firehose 支援使用 Splunk 做為目標。這表示您可以擷取網路流量日誌並傳送到 Kinesis Data Firehose,以轉換、充實資料並載入 Splunk。使用這個解決方案,可即時監控網路安全,並在發生可能的威脅時傳送提醒。

部落格文章

Stream your data into your Aurora PostgreSQL database

Ganesh Raja
2018 年 1 月 11 日

Unite real-time and batch analytics

Laith Al-Saadoon
2017 年 9 月 8 日

Stream your data from Amazon DynamoDB to Amazon Aurora

Aravind Kodandaramaiah
2017 年 5 月 4 日

Easy data ingestion into Splunk

Tarik Makota 和 Roy Arsan
2017 年 12 月 18 日

Serverless scaling for ingesting, aggregating, and visualizing Apache logs

Pubali Sen 和 Shankar Ramachandran
2017 年 5 月 31 日

Visualize and refine your network’s security

Guy Denney
2017 年 5 月 3 日

開始使用 Amazon Kinesis Data Firehose

icon1

註冊 AWS 帳戶

立即存取 AWS 免費方案
icon2

查看開發人員指南

如需 Kinesis Data Firehose 的相關資訊,請參閱 開發人員指南
icon3

開始串流資料

透過此 教學取得實作經驗。

進一步了解 Amazon Kinesis Data Firehose 功能

瀏覽功能頁面
準備好開始使用了嗎?
註冊
還有其他問題嗎?
聯絡我們