適用於 Amazon Kinesis 的 Streaming Data 解決方案提供 AWS CloudFormation 範本,其中資料將流經產生者、串流儲存體、使用者和目的地的。為了支援多個使用案例和業務需求,該解決方案提供了四個 CloudFormation 範本。與適用於 Amazon MSK 的 Streaming Data 解決方案類似,這些範本設定為套用最佳實務,以使用儀表板和警示監控功能,以及保護資料安全。
優勢
AWS 解決方案概觀
-
選項 1
-
選項 2
-
選項 3
-
選項 4
-
選項 1
-
使用 Amazon API Gateway 和 AWS Lambda 的 AWS CloudFormation 範本
適用於 Amazon Kinesis 架構的 Streaming Data 解決方案
選項 1 – 使用 Amazon API Gateway、Kinesis Data Streams 和 AWS Lambda 的 AWS CloudFormation 範本
此 AWS CloudFormation 範本部署包含以下內容的參考架構:
- Amazon API Gateway REST API 充當 Amazon Kinesis Data Streams 的代理,新增單個資料記錄或資料記錄清單。
- Amazon Cognito 使用者集區,用於控制可以叫用 REST API 方法的對象。
- Kinesis Data Streams 用於儲存傳入串流資料。
- AWS Lambda 函數處理來自資料串流的記錄。
- 在 AWS Lambda 處理期間發生的錯誤和失敗的記錄會被標記,並將事件存放在 Amazon Simple Queue Service (Amazon SQS) 中。佇列儲存失敗的批次處理記錄和 Lambda 錯誤的中繼資料,使客戶能夠擷取這些記錄,並確定解決它們的後續步驟。
適用於 Amazon Kinesis 的 Streaming Data 解決方案
版本 1.6.0
發佈日期︰2021 年 11 月
作者:AWS預計部署時間:5-10 分鐘
-
選項 2
-
使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 範本
適用於 Amazon Kinesis 架構的 Streaming Data 解決方案
選項 2 – 使用使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 範本
此 AWS CloudFormation 範本部署包含以下內容的參考架構:
- Amazon Elastic Compute Cloud (Amazon EC2) 執行個體使用 Amazon Kinesis Producer Library (KPL) 產生資料。
- Amazon Kinesis Data Streams 存放傳入資料串流。
- Kinesis Data Analytics Studio 將處理傳入的記錄,並將處理的資料儲存至 Amazon Simple Storage Service (Amazon S3) 儲存貯體。
- Amazon CloudWatch 儀表板將會監控應用程式的運作狀態、進度、資源使用率、事件和錯誤。
適用於 Amazon Kinesis 的 Streaming Data 解決方案
版本 1.6.0
發佈日期︰2021 年 11 月
作者:AWS預計部署時間:5-10 分鐘
-
選項 3
-
使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 範本
適用於 Amazon Kinesis 架構的 Streaming Data 解決方案
選項 3 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Simple Storage Service (Amazon S3) 的 AWS CloudFormation 範本
此選項部署包含以下內容的參考架構:
- Amazon Kinesis Data Streams 存放傳入資料串流資料。
- Amazon Kinesis Data Firehose 將輸出交付至 Simple Storage Service (Amazon S3) 儲存貯體之前,會將資料放到緩衝區。這是一項全受管服務,可自動擴展以因應資料的輸送量,而且不用全程管理。
- Amazon CloudWatch 儀表板監控資料的擷取和緩衝。CloudWatch 警示針對 Kinesis Data Firehose 的基本指標設定。
適用於 Amazon Kinesis 的 Streaming Data 解決方案
版本 1.6.0
發佈日期︰2021 年 11 月
作者:AWS
預計部署時間:5-10 分鐘
- Amazon Kinesis Data Streams 存放傳入資料串流資料。
-
選項 4
-
使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 範本
適用於 Amazon Kinesis 架構的 Streaming Data 解決方案
選項 4 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 範本
此選項部署類似 Option 2 和包含以下內容的參考架構:
- Amazon Elastic Compute Cloud (Amazon EC2) 執行個體使用 Amazon Kinesis Producer Library (KPL) 產生資料。
- Kinesis Data Streams 存放傳入資料串流資料。
- Kinesis Data Analytics 處理傳入記錄並以非同步的方式叫用外部端點。
- 示範應用程式叫用 AWS Lambda 函數。
- 外部 API 可以是 Amazon API Gateway (例如,Amazon SageMaker 端點)。
- Amazon CloudWatch 儀表板將會監控應用程式的運作狀態、進度、資源使用率、事件和錯誤。
適用於 Amazon Kinesis 的 Streaming Data 解決方案
版本 1.6.0
發佈日期︰2021 年 11 月
作者:AWS
預計部署時間:5-10 分鐘
- Amazon Elastic Compute Cloud (Amazon EC2) 執行個體使用 Amazon Kinesis Producer Library (KPL) 產生資料。
相關內容
這篇文章說明了使用各項 AWS 服務,在串流資料上實現即時介面的方法。另外,也提到 Amazon Kinesis Data Analytics (KDA) 與 Apache Flink 整合,非同步叫用基礎服務或資料庫。