這個 AWS 解決方案有什麼作用？
適用於 Amazon MSK 的 Streaming Data 解決方案提供 AWS CloudFormation 範本，其中資料將流經產生者、串流儲存體、使用者和目的地的。為了支援多個使用案例和業務需求，該解決方案提供了四個 AWS CloudFormation 範本。與 Streaming Data Solution for Amazon Kinesis 類似，這些範本設定為套用最佳實務，以使用儀表板和警示監控功能，以及保護資料安全。
優勢
自訂化組態
自動設定能夠輕鬆擷取、存放、處理和交付串流資料所需的 AWS 服務。
四個範本選項
從四個不同的 AWS CloudFormation 範本選項中選擇。測試您生產環境的新服務組合並提升現有應用程式。
即時使用案例
擷取大量應用程式日誌，分析點擊流資料，持續交付至資料湖等。
自訂原始程式碼
自訂解決方案的未定案程式碼，然後使用解決方案的監控功能，快速從測試過渡到生產。
AWS 解決方案概觀
下圖顯示了四個 AWS CloudFormation 範本，您可以使用解決方案實作指南來自動部署這些範本。
-
選項 1
-
選項 2
-
選項 3
-
選項 4
-
選項 1
-
使用 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 的 AWS CloudFormation 範本
適用於 Amazon MSK 的 Streaming Data 解決方案的解決方案架構
選項 1 – 使用 Amazon MSK 的 AWS CloudFormation 範本
此 AWS CloudFormation 範本會部署下列架構：
- Amazon MSK 叢集。
- Amazon EC2 執行個體包含與 Amazon MSK 叢集通訊所需的 Apache Kafka 用戶端庫。該用戶端機器位於與叢集相同的 VPC 上，並且可透過 AWS Systems Manager Session Manager 存取。
適用於 Amazon MSK 的 Streaming Data 解決方案
預估費用 原始程式碼 選項 1︰使用 Amazon MSK 的 AWS CloudFormation 範本版本 1.6.1
發佈日期︰2022 年 7 月
作者：AWS
預計部署時間：25-30 分鐘
-
選項 2
-
適用於 Amazon MSK 的 Streaming Data 解決方案
預估費用 原始程式碼 選項 2︰使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 範本版本 1.6.1
發佈日期︰2022 年 7 月
作者：AWS
預計部署時間：5 分鐘
-
選項 3
-
使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 範本
適用於 Amazon MSK 的 Streaming Data 解決方案的解決方案架構
選項 3 – 使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 範本
此 AWS CloudFormation 範本部署包含以下內容的參考架構：
- AWS Lambda 函數，用於處理 Apache Kafka 主題中的記錄。
- Amazon Kinesis Data Firehose 交付串流，用於在將資料傳輸至目的地之前對其進行緩衝。
- Amazon Simple Storage Service (Amazon S3) 儲存貯體，用於存放 Amazon MSK 叢集的所有原始事件。
適用於 Amazon MSK 的 Streaming Data 解決方案
預估費用 原始程式碼 選項 3︰使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 範本版本 1.6.1
發佈日期︰2022 年 7 月
作者：AWS
預計部署時間：10 分鐘
- AWS Lambda 函數，用於處理 Apache Kafka 主題中的記錄。
-
選項 4
-
使用 Amazon MSK、Amazon Kinesis Data Analytics 和 Simple Storage Service (Amazon S3) 的 AWS CloudFormation 範本
適用於 Amazon MSK 的 Streaming Data 解決方案的解決方案架構
選項 4 – 使用 Amazon MSK、Amazon Kinesis Data Analytics 和 Simple Storage Service (Amazon S3) 的 AWS CloudFormation 範本
此 AWS CloudFormation 範本部署包含以下內容的參考架構：
- 從 Amazon MSK 叢集中的現有主題讀取事件的 Kinesis Data Analytics 筆記本。
- 儲存輸出的 Amazon Simple Storage Service (Amazon S3) 儲存貯體。
適用於 Amazon MSK 的 Streaming Data 解決方案
預估費用 原始程式碼 選項 4︰使用 Amazon MSK、Amazon Kinesis Data Analytics 和 Amazon S3 的 AWS CloudFormation 範本版本 1.6.1
發佈日期︰2022 年 7 月
作者：AWS
預計部署時間：10 分鐘
- 從 Amazon MSK 叢集中的現有主題讀取事件的 Kinesis Data Analytics 筆記本。
相關內容
AWS 架構部落格
適用於存檔、重播或分析的 Amazon MSK 備份
這篇文章涵蓋了可以用於將 MSK 主題備份至 S3 的模式和解決方案，讓客戶降低 MSK 中的長期資料保留設定。一些客戶在 MSK 中存放長期資料，用於資料分析和機器學習工作負載。我們分享了透過卸載 S3 中主題資料來簡化此架構的模式，並將 S3 用於分析/ML。
閱讀完整的部落格文章
