Amazon Managed Streaming for Kafka (MSK)

(公開預覽)

全受管、高可用性和安全的 Apache Kafka 服務

Amazon Managed Streaming for Kafka (Amazon MSK) 是一項全受管服務,可讓您輕鬆建立和執行使用 Apache Kafka 處理串流資料的應用程式。 Apache Kafka 是開放原始碼平台,用於建立即時串流資料管道和應用程式。您可透過 Amazon MSK 使用 Apache Kafka API 來填入資料湖、出入資料庫的串流變更,並且供應機器學習和分析應用程式。

Apache Kafka 叢集在生產中不易設定、擴展和管理。自己執行 Apache Kafka 時,必須提供伺服器、手動設定 Apache Kafka、執行失敗時取代伺服器、協調伺服器修補和升級、架構高可用性的叢集、確保長期保存和保護資料、設定監控和警示,並且仔細規劃支援負載變更的擴充事件。Amazon Managed Streaming for Kafka 讓您不需 Apache Kafka 基礎設施管理專業知識,也可輕鬆在 Apache Kafka 建立並執行生產應用程式。這代表您可花更少的時間管理基礎設施,並且投入更多時間建立應用程式。

只要在 Amazon MSK 主控台 上按幾下,就可根據 Apache Kafka 最佳實例建立高可用性 Apache Kafka 叢集和設定與組態。Amazon MSK 自動提供並執行您的 Apache Kafka 叢集。Amazon MSK 持續監控叢集執行狀態,並且在應用程式不停機的情況下,自動取代狀態不佳的節點。此外,Amazon MSK 透過靜態加密資料來保護您的 Apache Kafka 叢集。

優勢

完全相容

Amazon MSK 為您執行和管理 Apache Kafka。這使能得以輕鬆移轉並執行您在 AWS 上現有的 Apache Kafka 應用程式,無須變更應用程式的程式碼。您可使用 Amazon MSK 維護開放原始碼的相容性,並且繼續使用 MirrorMaker 這類熟悉的自訂和群主建立工具,提供串流複製。

全受管

Amazon MSK 讓您專心建立串流應用程式,無須擔心管理 Apache Kafka 環境的營運管理費用。Amazon MSK 為您管理 Apache Kafka 叢集和 Apache Zookeeper 節點的供應、設定和維護。Amazon MSK 也在 AWS 主控台顯示關鍵的 Apache Kafka 效能指標。

高可用性

Amazon MSK 建立 Apache Kafka 叢集並提供 AWS 區域內異地同步複寫。Amazon MSK 持續監控叢集執行狀態,如果有元件無法執行,Amazon MSK 會自動取代。

高度安全

Amazon MSK 為您的 Apache Kafka 叢集提供多個安全層級,包括網路隔離、使用 Amazon VPC、用於控制平面 API 授權的 AWS IAM,以及靜態加密。Amazon MSK 的加密支援與 AWS Key Management Service (KMS) 相互整合。

運作方式

Apache Kafka 是串流資料存放區,會將產生串流資料到資料存放區中的應用程式 (即所謂的生產者) 與消耗資料存放區中串流資料的應用程式 (即所謂的取用者) 分離開來。許多組織使用 Apache Kafka 做為應用程式持續分析並回應串流資料的資料來源。

Amazon MSK 主控台中按幾下,Amazon MSK 就能提供 Apache Kafka 叢集,並管理 Apache Kafka 升級,讓您隨時使用最安全且最快版本的 Apache Kafka。設定叢集後,應用程式可從生產者串流資料到主題,客戶可在當中即時讀取此資料。

product-page-diagram_Grand-Canyon-How-It-Works2

開始使用 Amazon MSK

Product-Page_Standard-Icons_02_Sign-Up_SqInk
設定 Amazon MSK 叢集

註冊 AWS 並下載資料庫和工具。

Product-Page_Standard-Icons_01_Product-Features_SqInk
查看入門指南

在此逐步指南中了解如何在 Amazon MSK 設定 Apache Kafka 叢集。

Product-Page_Standard-Icons_03_Start-Building_SqInk
執行 Apache Kafka 叢集

開始在 Amazon MSK 上執行 Apache Kafka 叢集。登入 Amazon MSK 主控台