Streaming Data Solution for Amazon Kinesis

可大規模擴展且持久的即時資料串流服務,讓您能夠持續擷取資料進行處理。

概觀

適用於 Amazon Kinesis 的串流資料解決方案提供 AWS CloudFormation 範本,其中資料將流經產生者、串流儲存體、使用者和目的地的。為了支援多個使用案例和業務需求,該解決方案提供了四個 CloudFormation 範本。與適用於 Amazon MSK 的串流資料解決方案類似,這些範本設定為套用最佳實務,以使用儀表板和警報監控功能,以及保護資料安全。

串流資料必須由可大規模擴展的儲存體持久擷取,能夠處理來自資料產生者的大量資料。產生者可以是成千上萬的資料來源,每個資料來源持續產生資料,並且通常會同時以較小的大小 (KB) 提交記錄。

串流資料包含各式各樣的資料,例如客戶使用行動或 Web 應用程式產生的日誌檔、電子商務採購、遊戲中的玩家活動、來自社交網路、金融交易所或地理空間服務的資訊,以及來自連線裝置或資料中心儀器的遙測結果。

適用於此 AWS 解決方案的使用案例
商業智慧和分析 資料倉儲 資料營運

優勢

自訂化組態
自動設定能夠輕鬆擷取、存放、處理和交付串流資料所需的 AWS 服務。
四個範本選項
從四個不同的 AWS CloudFormation 範本選項中進行選擇。為您的生產環境測試新的服務組合,並改進現有的應用程式。
即時使用案例
擷取大量應用程式日誌,分析點擊流資料,持續交付至資料湖等。
可自訂的原始程式碼
自訂解決方案的未定案程式碼,然後使用監控功能快速從測試過渡到生產。

技術詳細資訊

下圖顯示了四個 AWS CloudFormation 範本,您可以使用解決方案實作指南來自動部署這些範本。
  • 選項 1
  • 使用 Amazon API Gateway 和 AWS Lambda 的 AWS CloudFormation 範本
    選項 1 – 使用 Amazon API Gateway、Kinesis Data Streams 和 AWS Lambda 的 AWS CloudFormation 範本
    AWS 架構部落格
    Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink

    這篇文章概述了使用各種 AWS 服務實現串流資料即時推理的架構。文章也涵蓋了 Amazon Kinesis Data Analytics (KDA) 與 Apache Flink 的整合,以非同步叫用底層服務或資料庫。

    閱讀完整的部落格文章 
    培訓
    Introduction to Amazon Kinesis Analytics

    這是 Amazon Kinesis Analytics 的入門課程,可協助您使用 SQL 查詢串流資料或建置整個串流應用程式。

    立即報名 
    培訓
    Data Analytics Fundamentals

    在此自主進度課程中,您將了解規劃資料分析解決方案的過程,以及所涉及的各種資料分析過程。

    立即報名 
    關於此部署
    版本
    1.7.5
    發行時間
    04/2023
    作者
    AWS
    預估部署時間
    5-10 分鐘
    預估成本
    下載實作指南  原始程式碼  CloudFormation 範本  訂閱 RSS 摘要 
    部署選項
    準備好開始使用了嗎?
    在您的 AWS Console 中啟動此解決方案,即可將其部署
    此 AWS 解決方案是否對您有幫助?
    提供意見回饋
  • 選項 2
  • 使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 範本 

    選項 2 – 使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon CloudWatch 的 AWS CloudFormation 範本
    AWS 架構部落格
    Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink

    這篇文章概述了使用各種 AWS 服務實現串流資料即時推理的架構。文章也涵蓋了 Amazon Kinesis Data Analytics (KDA) 與 Apache Flink 的整合,以非同步叫用底層服務或資料庫。

    閱讀完整的部落格文章 
    培訓
    Introduction to Amazon Kinesis Analytics

    這是 Amazon Kinesis Analytics 的入門課程,可協助您使用 SQL 查詢串流資料或建置整個串流應用程式。

    立即報名 
    培訓
    Data Analytics Fundamentals

    在此自主進度課程中,您將了解規劃資料分析解決方案的過程,以及所涉及的各種資料分析過程。

    立即報名 
    關於此部署
    版本
    1.7.5
    發行時間
    04/2023
    作者
    AWS
    預估部署時間
    5-10 分鐘
    預估成本
    下載實作指南  原始程式碼  CloudFormation 範本  訂閱 RSS 摘要 
    部署選項
    準備好開始使用了嗎?
    在您的 AWS Console 中啟動此解決方案,即可將其部署
    此 AWS 解決方案是否對您有幫助?
    提供意見回饋
  • 選項 3
  • 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 範本
    選項 3 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 範本
    AWS 架構部落格
    Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink

    這篇文章概述了使用各種 AWS 服務實現串流資料即時推理的架構。文章也涵蓋了 Amazon Kinesis Data Analytics (KDA) 與 Apache Flink 的整合,以非同步叫用底層服務或資料庫。

    閱讀完整的部落格文章 
    培訓
    Introduction to Amazon Kinesis Analytics

    這是 Amazon Kinesis Analytics 的入門課程,可協助您使用 SQL 查詢串流資料或建置整個串流應用程式。

    立即報名 
    培訓
    Data Analytics Fundamentals

    在此自主進度課程中,您將了解規劃資料分析解決方案的過程,以及所涉及的各種資料分析過程。

    立即報名 
    關於此部署
    版本
    1.7.5
    發行時間
    04/2023
    作者
    AWS
    預估部署時間
    5-10 分鐘
    預估成本
    下載實作指南  原始程式碼  CloudFormation 範本  訂閱 RSS 摘要 
    部署選項
    準備好開始使用了嗎?
    在您的 AWS Console 中啟動此解決方案,即可將其部署
    此 AWS 解決方案是否對您有幫助?
    提供意見回饋
  • 選項 4
  • 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 範本
    選項 4 – 使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon API Gateway 的 AWS CloudFormation 範本
    AWS 架構部落格
    Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink

    這篇文章概述了使用各種 AWS 服務實現串流資料即時推理的架構。文章也涵蓋了 Amazon Kinesis Data Analytics (KDA) 與 Apache Flink 的整合,以非同步叫用底層服務或資料庫。

    閱讀完整的部落格文章 
    培訓
    Introduction to Amazon Kinesis Analytics

    這是 Amazon Kinesis Analytics 的入門課程,可協助您使用 SQL 查詢串流資料或建置整個串流應用程式。

    立即報名 
    培訓
    Data Analytics Fundamentals

    在此自主進度課程中,您將了解規劃資料分析解決方案的過程,以及所涉及的各種資料分析過程。

    立即報名 
    關於此部署
    版本
    1.7.5
    發行時間
    04/2023
    作者
    AWS
    預估部署時間
    5-10 分鐘
    預估成本
    下載實作指南  原始程式碼  CloudFormation 範本  訂閱 RSS 摘要 
    部署選項
    準備好開始使用了嗎?
    在您的 AWS Console 中啟動此解決方案,即可將其部署
    此 AWS 解決方案是否對您有幫助?
    提供意見回饋