Apache Kafka 是開放原始碼平台,用於建立即時串流資料管道和應用程式。但是,Apache Kafka 難以自行架構、操作和管理。 Amazon MSK 是一項全受管服務,可讓您輕鬆建立和執行使用 Apache Kafka 處理串流資料的應用程式,而無需具有 Apache Kafka 基礎架構管理專業知識。

此頁面上的資源可協助您建立 Amazon MSK 叢集,操作和監控叢集時使用最佳實務,將 Apache Kafka 工作負載遷移至 Amazon MSK,以及使用 Amazon Kinesis Data Analytics for Apache Flink 分析資料串流。

Amazon MSK Master Class

Amazon MSK Master Class 為您提供 6 個小時的實作學習和最佳實務,涉及 Amazon MSK 上最全面的內容。此課程由 Stephane Maarek 和 AWS 聯合設計並呈現。Stephane 是 Apache Kafka 社群 (AWS Hero) 的活躍成員,已向超過 100,000 名學生教授 Apache Kafka。

了解如何:

  • 在專用 VPC 中建立 Amazon MSK 叢集並從 Apache Kafka 主題開始製作和取用
  • 設定 Amazon RDS PostgreSQL 資料庫傳送事件串流,以進行變更資料擷取 (CDC)
  • 部署串流處理應用程式,包括使用 Amazon Kinesis Data Analytics for Apache Flink
  • 使用最佳實務來操作和監控
  • Amazon MSK 叢集安全性等

Amazon MSK 實驗室

入門實驗室

獲得 Amazon MSK 實作經驗:

  • 使用 Amazon MSK Console 和 AWS CLI 設定 Amazon MSK 叢集
  • 在主控台上和使用 CLI 新增代理程式並重新平衡叢集,以適應其他生產者、消費者和不斷增長的工作負載。
  • 擴展 Amazon MSK 叢集,以新增更多儲存容量
  • 收集所有 JMX 指標,並在熱門開放原始碼監控工具 Prometheus 中處理資料
  • 使用各種安全功能進行動態加密和驗證

點擊流分析實驗室

此研討會教您如何透過擷取、轉換及分析即時點擊流資料,來分析電子商務站點中各種產品的效能。

  • 設定資料生產者將點擊流傳遞至 Amazon MSK 中的 Apache Kafka 主題
  • 設定並啟動 Amazon Kinesis Data Analytics for Apache Flink 應用程式,以處理和彙總點擊流資料,並將結果傳送至 Amazon MSK 和 Amazon Elasticsearch Service
  • 建立 Kibana 視覺化和 Kibana 儀表板,以視覺化即時點擊流分析資料                                                                                           

遷移實驗室

遷移實驗室教您將自我管理的 Apache Kafka 叢集 (無論在 Amazon EC2 上還是內部部署中) 遷移至 Amazon MSK 的不同方式。使用不同工具進行體驗,以完成遷移至 Amazon MSK。

  • 將 Amazon EC2 或內部部署上的自我管理叢集遷移至 Amazon MSK
  • 設定監控和遷移前環境
  • 使用 MirrorMaker 2.0 之類的工具
  • 遷移用戶端並執行最終的切換                                                    

                                                                                                        

Lenses

lenses.io

Lenses 是一種簡單、強大且安全的自助服務 DataOps 平台。自信地在 Apache Kafka 與 Amazon MSK 上操作。Lenses 以精細的控制提供對資料的廣泛存取,同時透過 SQL 資料流功能為資料專家提供支援。

瀏覽合作夥伴 
DataDog

Datadog

Datadog 是一個基於 SaaS 的監控和分析平台,適用於大規模應用程式和基礎架構。結合伺服器、容器、資料庫和應用程式的即時日誌、指標和端對端追蹤,Datadog 交付可行的提醒和功能強大的視覺化以提供全端可觀測性。

瀏覽合作夥伴 
New Relic

New Relic

透過從客戶到程式碼、容器的完全可見性,New Relic 可讓您輕鬆管理 AWS 環境的複雜性。使用 New Relic Prometheus OpenMetrics 整合監控 Amazon MSK。

瀏覽合作夥伴 
Sumo Logic

Sumo Logic

Sumo Logic 雲端原生分析平台協助您收集、關聯及分析所有類型的機器資料 (日誌、指標、事件),以縮短識別、疑難排解及解決效能、安全與合規問題的時間。收集 Amazon MSK 叢集上的資訊,以用於 Telegraf。

瀏覽合作夥伴 
準備好開始建立?
開始使用 Amazon MSK
還有其他問題嗎?
聯絡我們