此 AWS Solutions Implementation 有什麼作用？
適用於 Amazon Kinesis 的 AWS Streaming Data 解決方案可自動設定能夠輕鬆擷取、存放、處理和交付串流資料所需的 AWS 服務。該解決方案可協助您處理即時串流使用案例，例如擷取大量應用程式日誌，分析點擊流資料，持續交付至資料湖等。為了提供靈活性以適應不同的使用案例和業務需求，該解決方案提供了兩個 AWS CloudFormation 範本。開發人員可以使用此解決方案來測試新的服務組合，將其作為生產環境的基礎，或者改進已經實作的現有應用程式。
該解決方案透過消除或減少您對以下各項的需求，將開發時間縮短了數天：使用 AWS CloudFormation 建模和佈建資源；設定 Amazon CloudWatch 警示、儀表板和日誌記錄；以及在 AWS 中手動實作串流資料最佳實務。該解決方案與資料和邏輯無關，讓您能夠從未定案程式碼開始并快速開始自訂。部署後，您可以使用解決方案的監控功能輕鬆地過渡至生產。
適用於 Amazon Kinesis 的 AWS Streaming Data 解決方案使用各種範本，其中資料將流經產生者、串流儲存體、使用者和目的地的。生產者持續產生資料並將其傳送至串流儲存體，在其中持久擷取資料並將其提供給資料取用者進行處理。資料取用者處理資料，然後將其傳送至目的地。
目前，該解決方案提供兩個範本，但更多範本在開發中。AWS CloudFormation 範本使用 Amazon Kinesis Data Streams 進行串流儲存。一個範本使用 Amazon API Gateway 進行擷取，而 AWS Lambda 則用作取用者。第二個範本使用直接擷取至 Kinesis Data Streams from Amazon Elastic Compute Cloud (Amazon EC2) 的方式，Amazon Kinesis Data Analytics 作為取用者，而 Amazon Simple Storage Service (Amazon S3) 則作為儲存目的地。每個範本都讓您能夠組合不同的元件，並將其擴展以滿足您的需求。
AWS Solutions Implementation 概觀
該解決方案可自動設定能夠輕鬆擷取、存放、處理和交付串流資料所需的核心 AWS 服務。提供兩個選項，每個選項均包含可自訂示範程式碼。選擇滿足您使用案例和業務需求的範本，然後使用實作指南進行部署。
-
選項 1
-
選項 2
-
選項 1
-
使用 Amazon API Gateway 和 AWS Lambda 的 AWS CloudFormation 範本
適用於 Amazon Kinesis 解決方案架構的 AWS Streaming Data 解決方案
選項 1 – 使用 Amazon API Gateway 和 AWS Lambda 的 AWS CloudFormation 範本
AWS CloudFormation 範本包含以下各項︰Amazon API Gateway REST API，用作 Amazon Kinesis 的代理；Amazon Kinesis Data Streams，用於存放資料記錄；AWS Lambda 函數，用於處理資料串流中的記錄；以及 Amazon Simple Queue Service (Amazon SQS) 佇列，用於存放有關失敗記錄批次的中繼資料。
此範本使用 API 閘道擷取，提供串流儲存體 (Kinesis Data Streams) 的抽象層。此抽象層讓您能夠為資料產生者實作自訂身份驗證方法，針對特定產生者控制配額，以及變更目標 Kinesis 串流。
此範本使用 AWS Lambda 作為資料取用者，適用於不需要內部狀態的使用案例，例如篩選、業務事件處理和資料清除。AWS Lambda 針對錯誤場景提供較小的表面區域，並且易於擴展和操作。
適用於 Amazon Kinesis 的 AWS Streaming Data 解決方案
1.0 版
上次更新日期：2020 年 8 月
作者：AWS
預計部署時間：5-10 分鐘
-
選項 2
-
使用直接擷取和 Amazon Kinesis Data Analytics 的 AWS CloudFormation 範本
適用於 Amazon Kinesis 解決方案架構的 AWS Streaming Data 解決方案
選項 2 – 使用直接擷取和 Amazon Kinesis Data Analytics 的 AWS CloudFormation 範本
AWS CloudFormation 範本包含 Amazon Elastic Compute Cloud (Amazon EC2) 執行個體，其使用 Amazon Kinesis Producer Library 產生資料，並寫入存放資料記錄的 Kinesis Data Streams。適用於 Apache Flink 應用程式的 Amazon Kinesis Data Analytics 將處理傳入的記錄，並將資料儲存至 Amazon Simple Storage Service (Amazon S3) 儲存貯體。Amazon CloudWatch 儀表板將會監控應用程式的運作狀態、進度、資源使用率及特定事件和錯誤。
此 AWS CloudFormation 範本採用從 Amazon EC2 直接擷取至 Kinesis Data Streams 的方式。若您對寫入 Kinesis Data Streams 的程式碼具有一定程度的控制，則此範本最適合。這讓您能夠透過緩衝資料產生者來提供成本最佳化，並且需要管理的資源更少。
Kinesis Data Analytics for Apache Flink 是資料取用者，若您的使用案例需要持久應用程式和一次處理等功能，則該服務最適合。Kinesis Data Analytics for Apache Flink 還可以高效地處理具有低延遲和高可用性的大量資料串流。可從這些功能中受益的使用案例包括串流擷取 - 轉換 - 負載 (ETL)、即時分析、預測分析和機器學習。
適用於 Amazon Kinesis 的 AWS Streaming Data 解決方案
1.0 版
上次更新日期：2020 年 8 月
作者：AWS
預計部署時間：5-10 分鐘
關於 AWS CloudFormation 範本
針對您選取的服務，在透過適用於 Amazon Kinesis 的 AWS Streaming Data 解決方案建立的每個 Amazon CloudFormation 範本中提供以下內容：用於建立資源的建議預設組態；Amazon CloudWatch logs、指標、警示和儀表板；AWS Identity and Access Management (IAM) 角色和受管政策；Amazon CloudTrail 設定；以及安全最佳實務，包括使用 AWS Key Management Service 進行加密。
