Amazon Kinesis Data Analytics - 分析串流資料

Amazon Kinesis Data Analytics 是使用 Apache Flink 即時轉換和分析串流資料的最簡單方法。Apache Flink 是處理資料串流的開放原始碼框架及引擎。Amazon Kinesis Data Analytics 可簡化建構、管理及整合 Apache Flink 應用程式與其他 AWS 服務的複雜程序。

Amazon Kinesis Data Analytics 會處理持續執行串流應用程式所需的所有事項，並依傳入的資料量及輸送率自動擴展。使用 Amazon Kinesis Data Analytics，無須管理伺服器，沒有最低費用或設定成本，而只需為串流應用程式耗用的資源付費。

請求概念驗證或評估的支援 >>

優勢

強大的即時處理能力

Amazon Kinesis Data Analytics 提供篩選、彙整和轉換串流資料的內建功能來進行進階分析。該服務以低於 1 秒的延遲處理串流資料，讓您即時分析和回應傳入資料和事件。

不必管理伺服器

Amazon Kinesis Data Analytics 採用無伺服器架構，無須管理伺服器。它可執行您的串流應用程式，您無須佈建或管理任何基礎設施。Amazon Kinesis Data Analytics 可視需要自動擴展或縮減基礎設施，以便處理傳入的資料。

只需按實際用量付費

使用 Amazon Kinesis Data Analytics，您只需支付串流應用程式使用的處理資源費用。沒有最低費用或前期承諾。

易於使用

只要三個簡單的步驟，Amazon Kinesis Data Analytics 就能讓您輕鬆快速地建立查詢和強化串流應用程式：設定串流資料來源、撰寫查詢或串流應用程式，以及設定處理資料的目的地。

使用 Apache Flink 建置複雜的串流應用程式

Amazon Kinesis Data Analytics 包含以 Apache Flink 為基礎的開放原始碼程式庫和執行時間，可讓您使用最愛的 IDE 在幾小時內建立應用程式，無須幾個月的時間。可擴展程式庫專為不同使用案例設計的 API，包括狀態串流處理、串流 ETL 和即時分析。您可以使用程式庫，與 Amazon Managed Streaming for Apache Kafka (Amazon MSK)、Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose、Amazon Elasticsearch Service、Amazon S3、Amazon DynamoDB 等 AWS 服務進行整合。

使用標準 SQL 進行互動式查詢

Amazon Kinesis Data Analytics 提供的範本和互動式編輯器，可讓您建立執行加入、時段彙總、篩選等 SQL 查詢。您只需為分析任務選取適用的範本，然後使用 SQL 編輯器編輯提供的程式碼，針對您專屬使用案例加以自訂。無須編寫任何程式碼，即可將 SQL 結果傳送至其他 AWS 服務，例如 AWS Lambda、Amazon Kinesis Data Streams 和 Amazon Kinesis Data Firehose。

使用 Apache Beam 建置串流應用程式

Amazon Kinesis Data Analytics 支援執行透過 Apache Beam 的 Java SDK 在無伺服器 Apache Flink 環境中建置的串流應用程式。Apache Beam 是開放原始碼，定義串流和批次資料處理應用程式 (可跨多個執行引擎執行) 的統一模型。您可以輕鬆在 Java 建置 Apache Beam 串流應用程式，以及在 Amazon Kinesis Data Analytics 和其他執行引擎中執行這些應用程式。

運作方式

使用案例

串流 ETL

您可以使用 Amazon Kinesis Data Analytics 內建運算子來開發串流擷取-轉換-載入 (ETL) 應用程序，以轉換、彙總和篩選串流資料。您可以使用內建連接器，幾秒內即可輕鬆地將資料傳遞至 Amazon Kinesis Data Streams、Amazon Managed Streaming for Apache Kafka (Amazon MSK)、Amazon Elasticsearch Service、Amazon S3、自訂整合等。

觀看 John Deere 如何從農業設備中擷取 IoT 感應器測量結果，再將資料即時轉換為實用的客戶資訊，並將轉換後的資料載入資料湖中。