概觀

適用於 Amazon Kinesis 的串流資料解決方案提供 AWS CloudFormation 範本,其中資料將流經產生者、串流儲存體、使用者和目的地的。為了支援多個使用案例和業務需求,該解決方案提供了四個 CloudFormation 範本。與適用於 Amazon MSK 的串流資料解決方案類似,這些範本設定為套用最佳實務,以使用儀表板和警報監控功能,以及保護資料安全。
串流資料必須由可大規模擴展的儲存體持久擷取,能夠處理來自資料產生者的大量資料。產生者可以是成千上萬的資料來源,每個資料來源持續產生資料,並且通常會同時以較小的大小 (KB) 提交記錄。
串流資料包含各式各樣的資料,例如客戶使用行動或 Web 應用程式產生的日誌檔、電子商務採購、遊戲中的玩家活動、來自社交網路、金融交易所或地理空間服務的資訊,以及來自連線裝置或資料中心儀器的遙測結果。
優勢

技術詳細資訊

-
選項 1
-
選項 2
-
選項 3
-
選項 4
-
選項 1
-
選項 1 – 使用 Amazon API Gateway、Kinesis Data Streams 和 AWS Lambda 的 AWS CloudFormation 範本
步驟 1
Amazon API Gateway REST API 充當 Amazon Kinesis Data Streams 的代理,新增單個資料記錄或資料記錄清單。步驟 3
Kinesis Data Streams 儲存傳入串流資料。步驟 4
AWS Lambda 函數處理來自資料串流的記錄。步驟 5
在 AWS Lambda 處理期間發生的錯誤和失敗的記錄會被標記,並將事件儲存在 Amazon Simple Queue Service (Amazon SQS) 中。佇列儲存失敗的批次處理記錄和 Lambda 錯誤的中繼資料,讓客戶能夠擷取這些記錄,並確定解決它們的後續步驟。相關內容
AWS 架構部落格Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink這篇文章概述了使用各種 AWS 服務實現串流資料即時推理的架構。它還涵蓋了 Amazon Managed Service for Apache Flink 的整合,以非同步調用基礎服務或數據庫。
培訓Introduction to Amazon Kinesis Analytics這是 Amazon Kinesis Analytics 的入門課程,可協助您使用 SQL 查詢串流資料或建置整個串流應用程式。
-
選項 2
-
使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink 和 Amazon CloudWatch 的 AWS CloudFormation 範本
選項 2 – 使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink 和 Amazon CloudWatch 的 AWS CloudFormation 範本
步驟 1
Amazon Elastic Compute Cloud (Amazon EC2) 執行個體使用 Amazon Kinesis Producer Library (KPL) 產生資料。步驟 3
Amazon Managed Service for Apache Flink Studio 將處理傳入的記錄,並將處理的資料儲存至 Amazon Simple Storage Service (Amazon S3) 儲存貯體。步驟 4
Amazon CloudWatch 儀表板將會監控應用程式的運作狀態、進度、資源使用率、事件和錯誤。
相關內容
AWS 架構部落格Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink這篇文章概述了使用各種 AWS 服務實現串流資料即時推理的架構。它還涵蓋了 Amazon Managed Service for Apache Flink 的整合,以非同步調用基礎服務或數據庫。
培訓Introduction to Amazon Kinesis Analytics這是 Amazon Kinesis Analytics 的入門課程,可協助您使用 SQL 查詢串流資料或建置整個串流應用程式。
-
選項 3
-
選項 3 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 範本
步驟 1
Amazon Kinesis Data Streams 儲存傳入資料串流資料。步驟 2
Amazon Kinesis Data Firehose 將輸出交付至 Amazon S3 儲存貯體之前,會將資料放到緩衝區。這是一項全受管服務,可自動擴展以因應資料的輸送量,而且不用全程管理。步驟 3
Amazon CloudWatch 儀表板監控資料擷取和緩衝。CloudWatch 警示針對 Kinesis Data Firehose 的基本指標設定。相關內容
AWS 架構部落格Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink這篇文章概述了使用各種 AWS 服務實現串流資料即時推理的架構。它還涵蓋了 Amazon Managed Service for Apache Flink 的整合,以非同步調用基礎服務或數據庫。
培訓Introduction to Amazon Kinesis Analytics這是 Amazon Kinesis Analytics 的入門課程,可協助您使用 SQL 查詢串流資料或建置整個串流應用程式。
-
選項 4
-
使用 Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink 和 Amazon API Gateway 的 AWS CloudFormation 範本
選項 4 – 使用 Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink 和 Amazon API Gateway 的 AWS CloudFormation 範本
步驟 1
Amazon Elastic Compute Cloud (Amazon EC2) 執行個體使用 Amazon Kinesis Producer Library (KPL) 產生資料。步驟 3
Managed Service for Apache Flink 處理傳入的記錄並非同步叫用外部端點。步驟 4
示範應用程式叫用 AWS Lambda 函數。步驟 5
外部 API 可以是 Amazon API Gateway 支援的任何整合 (例如,Amazon SageMaker 端點)。步驟 6
Amazon CloudWatch 儀表板將會監控應用程式的運作狀態、進度、資源使用率、事件和錯誤。AWS 架構部落格Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink這篇文章概述了使用各種 AWS 服務實現串流資料即時推理的架構。它還涵蓋了 Amazon Managed Service for Apache Flink 的整合,以非同步調用基礎服務或數據庫。
培訓Introduction to Amazon Kinesis Analytics這是 Amazon Kinesis Analytics 的入門課程,可協助您使用 SQL 查詢串流資料或建置整個串流應用程式。