Streaming Data Solution for Amazon MSK

可大規模擴展且持久的即時資料串流服務，讓您能夠持續擷取資料進行處理。
檢視實作指南

概觀

Streaming Data Solution for Amazon MSK 提供 AWS CloudFormation 範本，其中資料將流經產生者、串流儲存體、使用者和目的地的。為了支援多個使用案例和業務需求，該解決方案提供了四個 AWS CloudFormation 範本。與 Streaming Data Solution for Amazon Kinesis 類似，這些範本設定為套用最佳實務，以使用儀表板和警示監控功能，以及保護資料安全。

串流資料必須由可大規模擴展的儲存體持久擷取，能夠處理來自資料產生者的大量資料。產生者可以是成千上萬的資料來源，每個資料來源持續產生資料，並且通常會同時以較小的大小 (KB) 提交記錄。

串流資料包含各式各樣的資料，例如客戶使用行動或 Web 應用程式產生的日誌檔、電子商務採購、遊戲中的玩家活動、來自社交網路、金融交易所或地理空間服務的資訊，以及來自連線裝置或資料中心儀器的遙測結果。

適用於此 AWS 解決方案的使用案例
資料倉儲

優勢

自訂化組態
自動設定能夠輕鬆擷取、存放、處理和交付串流資料所需的 AWS 服務。
四個範本選項
從四個不同的 AWS CloudFormation 範本選項中進行選擇。為您的生產環境測試新的服務組合，並改進現有的應用程式。
即時使用案例
擷取大量應用程式日誌，分析點擊流資料，持續交付至資料湖等。
可自訂的原始程式碼
自訂解決方案的未定案程式碼，然後使用監控功能快速從測試過渡到生產。

技術詳細資訊

下圖顯示了四個 AWS CloudFormation 範本，您可以使用解決方案實作指南來自動部署這些範本。
  • 選項 1
  • 使用 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 的 AWS CloudFormation 範本
    選項 1 – 使用 Amazon MSK 的 AWS CloudFormation 範本

    相關內容

    AWS 架構部落格
    Amazon MSK Backup for Archival, Replay, or Analytics

    這篇文章介紹了可用於將 MSK 主題備份到 S3 的模式和解決方案，使客戶能夠減少 MSK 中的長期資料保留設定。有些客戶將長期資料儲存在 MSK 中，用於資料分析和機器學習工作負載。我們分享一種模式，透過卸載 S3 中的主題資料並使用 S3 進行分析/機器學習，來簡化此架構。

    閱讀部落格 
    培訓
    Data Analytics Fundamentals

    在此自主進度課程中，您將了解規劃資料分析解決方案的過程，以及所涉及的各種資料分析過程。

    立即報名 
    培訓
    Amazon MSK 實驗室

    該站點託管與 Amazon MSK 有關的資訊和實作實驗室。這些實驗室可在個人或公司的 AWS 帳戶上執行，或者在 AWS 帳戶團隊針對使用事件引擎的事件佈建的帳戶上執行。

    立即報名 
    關於此部署
    版本
    1.7.6
    發行時間
    2023 年 5 月
    作者
    AWS
    預估部署時間
    25-30 分鐘
    預估成本
    查看詳細資訊
    檢視實作指南
    下載實作指南  原始程式碼  CloudFormation 範本  訂閱 RSS 摘要 
    部署選項
    準備好開始使用了嗎？
    在您的 AWS Console 中啟動此解決方案，即可將其部署
    在 AWS Console 啟動
    此 AWS 解決方案是否對您有幫助？
    是
    否
    提供意見回饋
  • 選項 2
  • 使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 範本
    選項 2 – 使用 Amazon MSK 和 AWS Lambda 的 AWS CloudFormation 範本

    相關內容

    AWS 架構部落格
    Amazon MSK Backup for Archival, Replay, or Analytics

    這篇文章介紹了可用於將 MSK 主題備份到 S3 的模式和解決方案，使客戶能夠減少 MSK 中的長期資料保留設定。有些客戶將長期資料儲存在 MSK 中，用於資料分析和機器學習工作負載。我們分享一種模式，透過卸載 S3 中的主題資料並使用 S3 進行分析/機器學習，來簡化此架構。

    閱讀部落格 
    培訓
    Data Analytics Fundamentals

    在此自主進度課程中，您將了解規劃資料分析解決方案的過程，以及所涉及的各種資料分析過程。

    立即報名 
    培訓
    Amazon MSK 實驗室

    該站點託管與 Amazon MSK 有關的資訊和實作實驗室。這些實驗室可在個人或公司的 AWS 帳戶上執行，或者在 AWS 帳戶團隊針對使用事件引擎的事件佈建的帳戶上執行。

    立即報名 
    關於此部署
    版本
    1.7.6
    發行時間
    2023 年 5 月
    作者
    AWS
    預估部署時間
    25-30 分鐘
    預估成本
    查看詳細資訊
    檢視實作指南
    下載實作指南  原始程式碼  CloudFormation 範本  訂閱 RSS 摘要 
    部署選項
    準備好開始使用了嗎？
    在您的 AWS Console 中啟動此解決方案，即可將其部署
    在 AWS Console 啟動
    此 AWS 解決方案是否對您有幫助？
    是
    否
    提供意見回饋
  • 選項 3
  • 使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 範本
    選項 3 – 使用 Amazon MSK、AWS Lambda 和 Amazon Kinesis Data Firehose 的 AWS CloudFormation 範本

    相關內容

    AWS 架構部落格
    Amazon MSK Backup for Archival, Replay, or Analytics

    這篇文章介紹了可用於將 MSK 主題備份到 S3 的模式和解決方案，使客戶能夠減少 MSK 中的長期資料保留設定。有些客戶將長期資料儲存在 MSK 中，用於資料分析和機器學習工作負載。我們分享一種模式，透過卸載 S3 中的主題資料並使用 S3 進行分析/機器學習，來簡化此架構。

    閱讀部落格 
    培訓
    Data Analytics Fundamentals

    在此自主進度課程中，您將了解規劃資料分析解決方案的過程，以及所涉及的各種資料分析過程。

    立即報名 
    培訓
    Amazon MSK 實驗室

    該站點託管與 Amazon MSK 有關的資訊和實作實驗室。這些實驗室可在個人或公司的 AWS 帳戶上執行，或者在 AWS 帳戶團隊針對使用事件引擎的事件佈建的帳戶上執行。

    立即報名 
    關於此部署
    版本
    1.7.6
    發行時間
    2023 年 5 月
    作者
    AWS
    預估部署時間
    25-30 分鐘
    預估成本
    查看詳細資訊
    檢視實作指南
    下載實作指南  原始程式碼  CloudFormation 範本  訂閱 RSS 摘要 
    部署選項
    準備好開始使用了嗎？
    在您的 AWS Console 中啟動此解決方案，即可將其部署
    在 AWS Console 啟動
    此 AWS 解決方案是否對您有幫助？
    是
    否
    提供意見回饋
  • 選項 4
  • 使用 Amazon MSK、Amazon Kinesis Data Analytics 和 Amazon S3 的 AWS CloudFormation 範本
    選項 4 – 使用 Amazon MSK、Amazon Kinesis Data Analytics 和 Amazon S3 的 AWS CloudFormation 範本

    相關內容

    AWS 架構部落格
    Amazon MSK Backup for Archival, Replay, or Analytics

    這篇文章介紹了可用於將 MSK 主題備份到 S3 的模式和解決方案，使客戶能夠減少 MSK 中的長期資料保留設定。有些客戶將長期資料儲存在 MSK 中，用於資料分析和機器學習工作負載。我們分享一種模式，透過卸載 S3 中的主題資料並使用 S3 進行分析/機器學習，來簡化此架構。

    閱讀部落格 
    培訓
    Data Analytics Fundamentals

    在此自主進度課程中，您將了解規劃資料分析解決方案的過程，以及所涉及的各種資料分析過程。

    立即報名 
    培訓
    Amazon MSK 實驗室

    該站點託管與 Amazon MSK 有關的資訊和實作實驗室。這些實驗室可在個人或公司的 AWS 帳戶上執行，或者在 AWS 帳戶團隊針對使用事件引擎的事件佈建的帳戶上執行。

    立即報名 
    關於此部署
    版本
    1.7.6
    發行時間
    2023 年 5 月
    作者
    AWS
    預估部署時間
    25-30 分鐘
    預估成本
    查看詳細資訊
    檢視實作指南
    下載實作指南  原始程式碼  CloudFormation 範本  訂閱 RSS 摘要 
    部署選項
    準備好開始使用了嗎？
    在您的 AWS Console 中啟動此解決方案，即可將其部署
    在 AWS Console 啟動
    此 AWS 解決方案是否對您有幫助？
    是
    否
    提供意見回饋