Amazon Kinesis Firehose
AWS 雲端
Amazon Kinesis Firehose 入門

Amazon Kinesis Firehose 是將串流資料載入 AWS 的最簡單方式。它可以擷取串流資料,並將資料轉換和載入 Amazon Kinesis AnalyticsAmazon S3Amazon RedshiftAmazon Elasticsearch Service,再使用現有的商業智慧工具以及您目前正在使用的儀表板進行近乎即時的分析。這是一項全受管的服務,可自動擴展以因應資料的輸送量,而且不用全程管理。它也可以在載入資料之前先進行批次處理、壓縮及加密,以大幅減少目的地所需的儲存體數量及提高安全性。

您可以從 AWS 管理主控台輕鬆地建立 Firehose 交付串流,按幾下按鍵進行設定,然後開始從數十萬個要載入 AWS 的資料來源持續將資料傳送至串流,而這整個程序只需要幾分鐘。

使用 Amazon Kinesis Firehose 時,您只需要支付透過服務傳輸資料量的費用。沒有最低費用也沒有設定費用。

Amazon Kinesis Firehose



KinesisAnalytics_LP_EasyToUse

Amazon Kinesis Firehose 提供一個簡單的方式來擷取和載入串流資料,只需在 AWS 管理主控台中按幾下按鍵即可。您只需要建立 Firehose 交付串流、選取目的地,就可以開始從數十萬個資料來源同時傳送即時資料。服務會根據您指定的時間間隔,負責處理將資料持續載入目的地所需的串流管理,包括所有擴展、共享及監控。

KinesisAnalytics_LP_FullyManaged

Amazon Kinesis Firehose 已經與 Amazon S3、Amazon Redshift 及 Amazon Elasticsearch Service 整合。您可以從 AWS 管理主控台將 Amazon Kinesis Firehose 指向 Amazon S3 儲存貯體、Amazon Redshift 資料表或 Amazon Elasticsearch 網域。然後您可以使用現有的分析應用程式和工具來分析串流資料。

KinesisAnalytics_LP_AutomaticElasticity

Amazon Kinesis Firehose 可讓您將串流資料準備好,再載入資料存放區。使用 Amazon Kinesis Firehose,您可以輕鬆地將原始串流資料從資料來源轉換為目的地資料存放區要求的格式,無須建立您自己的資料處理管道。進一步了解 »

KinesisAnalytics_LP_RealTimeProcessing

Amazon Kinesis Firehose 以接近即時的速度來擷取和載入資料。它可以在資料傳送到服務之後的 60 秒內,將新的資料載入 Amazon S3、Amazon Redshift 及 Amazon Elasticsearch Service。因此能讓您更快存取新資料,以及迅速地因應商業和營運事件。

benefit_Fully-Managed

Amazon Kinesis Firehose 是一項全受管服務,它會自動佈建、管理及擴展用來載入串流資料所需的運算、記憶體和網路資源。設定好 Amazon Kinesis Firehose 之後,即可在資料到達時持續載入它們。

KinesisAnalytics_LP_PayForUse

使用 Amazon Kinesis Firehose 時,您只需支付透過此服務所傳輸的資料量費用。沒有最低費用或預付款項。

有了 Amazon Kinesis Firehose,您可以持續從連線裝置 (例如,家用電器、內嵌感應器以及電視機上盒) 擷取資料。Amazon Kinesis Firehose 將資料載入 Amazon Redshift,讓您的客戶能以近乎即時的速度存取指標、洞見和儀表板。例如,消費者裝置公司 Hello Inc. 透過 Amazon Kinesis Streams 收集和處理來自床墊內建感應器的即時資料,並使用 Amazon Kinesis Firehose 將已處理的資訊載入 Amazon Redshift。Hello 的客戶能夠監控睡眠模式、房間溫度和濕度等影響睡眠的條件,以及平均基準值,讓他們睡得更好。 閱讀案例研究 »

firehose-use-case-diagram-iot
hello_logo-2

「只要按幾下,就能透過 Firehose 和 Redshift 從原始的串流資料獲得進階的即時洞見分析。」

– Hello Inc. 技術長 Tim Bart


您可從對象追蹤系統、廣告交換接聽程式/競標程式及廣告伺服器導入不同類型的資料記錄,然後將它們合併到相同的串流。然後,您就能使用 Spark Streaming 的微型批次執行資料轉換和分析,或透過 AWS Lambda 依事件執行。使用 Amazon Kinesis Firehose 可將已轉換、豐富和摘要的資料交付到其他分析和儲存服務,包含 Amazon S3 和 Amazon Redshift。 試用範例專案 »

firehose-use-case-diagram-ad-tech

您可以使用 Amazon Kinesis Firehose 交付數位內容的即時指標,讓作者與行銷人員以最有效率的方式與客戶進行交流。您可以串流經過壓縮、加密的幾十億則簡短訊息,並交付到 Amazon Elasticsearch Service 和 Amazon Redshift。使用 Amazon Elasticsearch Service 和 Amazon Redshift,您可以彙總、篩選和處理資料,並以近乎即時的速度重新整理內容效能儀表板。例如,Hearst Corporation 使用 Amazon Kinesis Streams、Amazon Kinesis Firehose、Amazon Redshift 和 Amazon Elasticsearch Service 建置點擊流分析平台,每天可傳輸和處理來自全球超過 300 個 Hearst 網站的 30 TB 資料。使用此平台,Hearst 能夠在幾分鐘內將包含網站點擊率到彙總資料的完整資料串流提供給編輯人員。 閱讀案例研究 »

firehose-use-case-diagram-digital-marketing
BigData_logo-hearst

「如果沒有 Amazon Kinesis,我們將無法讓點擊流資料管道順利運作,且可能要花費長達幾週的工程時間。Kinesis Streams 和 Firehose 讓整個程序出乎意料的簡單和可靠。」

– Hearst Corporation 資料科學家 Peter Jaffe

440x220_APN-Blog

在這篇文章中,我們將說明如何使用 AWS Glue 這類 AWS 服務建立 lambda 架構,完全不使用伺服器。我們使用實際的示範檢查 AWS 無伺服器服務之間的緊密整合,並建立功能強大的資料處理 lambda 架構系統。

閱讀整篇文章 »

若要有效地將資料從 Amazon DynamoDB 複寫到 Amazon Aurora,必須建立可靠、可擴展的資料複寫 (ETL) 程序。在這篇文章中,我將示範如何使用無伺服器架構搭配 AWS Lambda 和 Amazon Kinesis Firehose 建立這種程序。

閱讀整篇文章 »

我去年發表了一篇有關如何優化和視覺化安全群組的 AWS 安全部落格文章。今天的文章將接續上次的內容,繼續探討如何使用 Amazon Kinesis Firehose 和 AWS Lambda 豐富 VPC Flow Logs 資料集並加強優化安全群組的能力。

閱讀整篇文章 »

在這篇文章中,我們首先要展示如何設定 Amazon Elasticsearch Service 網域。接著,我們將說明如何建立和連接採用預先建立 Lambda 函數的 Firehose 串流剖析 Apache web 日誌。最後,說明如何使用 Amazon Kinesis 代理器載入資料,並使用 Kibana 建立視覺化的資料。

閱讀整篇文章 »

這篇部落格文章說明如何使用 Amazon Kinesis Firehose、AWS Lambda、Amazon S3、Amazon Athena 和 Amazon QuickSight 收集、存放、查詢和視覺化流量日誌,以建立無伺服器架構。

閱讀整篇文章 »

Amazon Kinesis Firehose 是一項全受管服務,可將即時串流資料交付到 Amazon S3、Amazon Redshift 或 Amazon Elasticsearch Service (Amazon ES) 等目的地。在這篇文章中,我會介紹交付串流上的資料轉換功能,將傳入的來源資料進行無縫轉換,並將轉換過的資料交付至您的目的地。

閱讀整篇文章 »

在這篇文章中,我會說明如何使用 AWS 無伺服器和受管服務來針對串流 IoT 裝置資料建立商業智慧功能。只要數分鐘便可啟動並執行 – 從小規模開始,但可輕易成長為數百萬部裝置和數十億則訊息的規模。

閱讀整篇文章 »

如需與 Amazon Kinesis Firehose 和即時分析有關的部落格文章完整清單,請參閱部落格文章頁面 »

如需 Amazon Kinesis Firehose 所有新功能的相關資訊,請參閱最新功能頁面 »

開始使用 Amazon Kinesis Firehose 非常簡單。只要登入我們的主控台,按幾下就能設定您的第一個交付串流。

 

馬上開始