適用於 Amazon Kinesis 的 Streaming Data 解決方案提供 AWS CloudFormation 範本，其中資料將流經產生者、串流儲存體、使用者和目的地的。為了支援多個使用案例和業務需求，該解決方案提供了四個 CloudFormation 範本。與適用於 Amazon MSK 的 Streaming Data 解決方案類似，這些範本設定為套用最佳實務，以使用儀表板和警示監控功能，以及保護資料安全。
優勢
自訂化組態
自動設定能夠輕鬆擷取、存放、處理和交付串流資料所需的 AWS 服務。
四個範本選項
從四個不同的 AWS CloudFormation 範本選項中選擇。測試您生產環境的新服務組合並提升現有應用程式。
即時使用案例
擷取大量應用程式日誌，分析點擊流資料，持續交付至資料湖等。
自訂原始程式碼
自訂解決方案的未定案程式碼，然後使用監控功能快速從測試過渡到生產。
AWS 解決方案概觀
下圖顯示了四個 AWS CloudFormation 範本，您可以使用解決方案實作指南來建置這些範本。
-
選項 1
-
選項 2
-
選項 3
-
選項 4
-
選項 1
-
使用 Amazon API Gateway 和 AWS Lambda 的 AWS CloudFormation 範本
按一下以放大關閉使用 Amazon API Gateway 和 AWS Lambda 的 AWS CloudFormation 範本
適用於 Amazon Kinesis 架構的 Streaming Data 解決方案
選項 1 – 使用 Amazon API Gateway、Kinesis Data Streams 和 AWS Lambda 的 AWS CloudFormation 範本
此 AWS CloudFormation 範本部署包含以下內容的參考架構：
- Amazon API Gateway REST API 充當 Amazon Kinesis Data Streams 的代理，新增單個資料記錄或資料記錄清單。
- Amazon Cognito 使用者集區，用於控制可以叫用 REST API 方法的對象。
- Kinesis Data Streams 用於儲存傳入串流資料。
- AWS Lambda 函數處理來自資料串流的記錄。
- 在 AWS Lambda 處理期間發生的錯誤和失敗的記錄會被標記，並將事件存放在 Amazon Simple Queue Service (Amazon SQS) 中。佇列儲存失敗的批次處理記錄和 Lambda 錯誤的中繼資料，使客戶能夠擷取這些記錄，並確定解決它們的後續步驟。
適用於 Amazon Kinesis 的 Streaming Data 解決方案
預估費用 原始程式碼 選項 1：使用 API Gateway、Kinesis Data Streams 和 AWS Lambda 的 AWS CloudFormation 範本版本 1.6.0
發佈日期︰2021 年 11 月
作者：AWS預計部署時間：5-10 分鐘
-
選項 2
-
使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 範本
按一下以放大關閉使用使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 範本
適用於 Amazon Kinesis 架構的 Streaming Data 解決方案
選項 2 – 使用使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 範本
此 AWS CloudFormation 範本部署包含以下內容的參考架構：
- Amazon Elastic Compute Cloud (Amazon EC2) 執行個體使用 Amazon Kinesis Producer Library (KPL) 產生資料。
- Amazon Kinesis Data Streams 存放傳入資料串流。
- Kinesis Data Analytics Studio 將處理傳入的記錄，並將處理的資料儲存至 Amazon Simple Storage Service (Amazon S3) 儲存貯體。
- Amazon CloudWatch 儀表板將會監控應用程式的運作狀態、進度、資源使用率、事件和錯誤。
適用於 Amazon Kinesis 的 Streaming Data 解決方案
版本 1.6.0
發佈日期︰2021 年 11 月
作者：AWS預計部署時間：5-10 分鐘
-
選項 3
-
使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 範本
按一下以放大關閉使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 範本
適用於 Amazon Kinesis 架構的 Streaming Data 解決方案
選項 3 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Simple Storage Service (Amazon S3) 的 AWS CloudFormation 範本
此選項部署包含以下內容的參考架構：
- Amazon Kinesis Data Streams 存放傳入資料串流資料。
- Amazon Kinesis Data Firehose 將輸出交付至 Simple Storage Service (Amazon S3) 儲存貯體之前，會將資料放到緩衝區。這是一項全受管服務，可自動擴展以因應資料的輸送量，而且不用全程管理。
- Amazon CloudWatch 儀表板監控資料的擷取和緩衝。CloudWatch 警示針對 Kinesis Data Firehose 的基本指標設定。
適用於 Amazon Kinesis 的 Streaming Data 解決方案
版本 1.6.0
發佈日期︰2021 年 11 月
作者：AWS
預計部署時間：5-10 分鐘
- Amazon Kinesis Data Streams 存放傳入資料串流資料。
-
選項 4
-
使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 範本
按一下以放大關閉使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 範本
適用於 Amazon Kinesis 架構的 Streaming Data 解決方案
選項 4 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 範本
此選項部署類似 Option 2 和包含以下內容的參考架構：
- Amazon Elastic Compute Cloud (Amazon EC2) 執行個體使用 Amazon Kinesis Producer Library (KPL) 產生資料。
- Kinesis Data Streams 存放傳入資料串流資料。
- Kinesis Data Analytics 處理傳入記錄並以非同步的方式叫用外部端點。
- 示範應用程式叫用 AWS Lambda 函數。
- 外部 API 可以是 Amazon API Gateway (例如，Amazon SageMaker 端點)。
- Amazon CloudWatch 儀表板將會監控應用程式的運作狀態、進度、資源使用率、事件和錯誤。
適用於 Amazon Kinesis 的 Streaming Data 解決方案
版本 1.6.0
發佈日期︰2021 年 11 月
作者：AWS
預計部署時間：5-10 分鐘
- Amazon Elastic Compute Cloud (Amazon EC2) 執行個體使用 Amazon Kinesis Producer Library (KPL) 產生資料。
相關內容
影片
利用解決方案解決問題：適用於 Amazon Kinesis 的 AWS Streaming Data 解決方案
AWS 架構部落格
使用 AWS Kinesis、SageMaker 和 Apache Flink 的即時串流內介面
這篇文章說明了使用各項 AWS 服務，在串流資料上實現即時介面的方法。另外，也提到 Amazon Kinesis Data Analytics (KDA) 與 Apache Flink 整合，非同步叫用基礎服務或資料庫。
