概觀
Streaming Data Solution for Amazon MSK 可讓您使用 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 來擷取串流資料，這是一項大規模的可擴展儲存服務，能夠處理資料生產者的大量資料。產生者可以是成千上萬的資料來源，每個資料來源持續產生資料，並且通常會同時以較小的大小 (KB) 提交記錄。
此外，串流資料包含各式各樣的資料，例如客戶使用行動或 Web 應用程式產生的日誌檔、電子商務採購、遊戲中的玩家活動、來自社交網路、金融交易所或地理空間服務的資訊，以及來自連線裝置或資料中心儀器的遙測結果。
此 AWS 解決方案提供四個 AWS CloudFormation 範本，其中資料將流經產生者、串流儲存體、使用者和目的地的。與 Streaming Data Solution for Amazon Kinesis 類似，這些範本設定為套用最佳實務，以使用儀表板和警示監控功能和保護資料安全。
優勢
技術詳細資訊
您可以使用實作指南和隨附的 AWS CloudFormation 範本自動部署此架構。
-
選項 1
-
選項 2
-
選項 3
-
選項 4
-
選項 1
-
使用 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 的 AWS CloudFormation 範本
按一下以放大使用 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 的 AWS CloudFormation 範本
選項 1 – 使用 Amazon MSK 的 AWS CloudFormation 範本
步驟 1
此 AWS CloudFormation 範本可部署 Amazon Managed Streaming for Apache Kafka (MSK) 叢集。
步驟 2
Amazon Cognito 使用者集區，用於控制可以調用 REST API 方法的對象。步驟 1
此 AWS CloudFormation 範本可部署 Amazon Managed Streaming for Apache Kafka (MSK) 叢集。
步驟 2
Amazon Cognito 使用者集區，用於控制可以調用 REST API 方法的對象。 -
選項 2
-
使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 範本
按一下以放大使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 範本
選項 2 – 使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 範本
步驟 1
此 CloudFormation 範本會部署 AWS Lambda 函數，可處理 Apache Kafka 主題中的記錄。預設功能是記錄接收訊息的 Node.js 應用程式，但可以進行自訂以滿足您的業務需求。
步驟 1
此 CloudFormation 範本會部署 AWS Lambda 函數，可處理 Apache Kafka 主題中的記錄。預設功能是記錄接收訊息的 Node.js 應用程式，但可以進行自訂以滿足您的業務需求。 -
選項 3
-
使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 範本
按一下以放大使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 範本
選項 3 – 使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 範本
步驟 1
Lambda 函數，用於處理 Apache Kafka 主題中的記錄。步驟 2
Amazon Kinesis Data Firehose 交付串流，用於在將資料傳輸至目的地之前對其進行緩衝。步驟 3
Amazon Simple Storage Service (Amazon S3) 儲存貯體，用於存放 Amazon MSK 叢集的所有原始事件。步驟 1
Lambda 函數，用於處理 Apache Kafka 主題中的記錄。步驟 2
Amazon Kinesis Data Firehose 交付串流，用於在將資料傳輸至目的地之前對其進行緩衝。步驟 3
Amazon Simple Storage Service (Amazon S3) 儲存貯體，用於存放 Amazon MSK 叢集的所有原始事件。 -
選項 4
-
使用 Amazon MSK、Amazon Managed Service for Apache Flink 和 Amazon S3 的 AWS CloudFormation 範本
按一下以放大使用 Amazon MSK、Amazon Managed Service for Apache Flink 和 Amazon S3 的 AWS CloudFormation 範本
選項 4 – 使用 Amazon MSK、Amazon Managed Service for Apache Flink 和 Amazon S3 的 AWS CloudFormation 範本
步驟 1
從 Amazon MSK 叢集中的現有主題讀取事件的 Amazon Managed Service for Apache Flink Studio 筆記本。步驟 2
S3 儲存貯體存放輸出。步驟 1
從 Amazon MSK 叢集中的現有主題讀取事件的 Amazon Managed Service for Apache Flink Studio 筆記本。步驟 2
S3 儲存貯體存放輸出。