Amazon MSK 常見問答集

• Apache Kafka 以容錯方式存放串流資料，在生產者和消費者之間提供緩衝。它將事件存放為一連串的記錄，並且會保留記錄產生的順序。
• Apache Kafka 可讓許多資料生產者 (例如：網站、物聯網 (IoT) 裝置、Amazon Elastic Compute Cloud (Amazon EC2) 執行個體) 持續發佈串流資料，並使用 Apache Kafka 主題將這些資料分類。多個資料取用者 (例如：機器學習應用程式、AWS Lambda 函數或微型服務) 會以自己的速率讀取這些主題，這類似於訊息佇列或企業傳訊系統。
• 資料取用者會以先進先出為原則，處理來自 Apache Kafka 主題的資料，並保留資料產生的順序。

問：什麼是 MSK Serverless？
MSK Serverless 是適用於 Amazon MSK 的叢集類型，讓您輕鬆執行 Apache Kafka 叢集，而無需管理運算和儲存容量。藉由 MSK Serverless，您可以執行應用程式，而無需佈建、設定和優化叢集，為串流和保留的資料磁碟區付費。

問：MSK Serverless 是否會自動平衡叢集內的分割區？
是。MSK Serverless 全面管理分割區，包括監控分割區，以及跨叢集將其移至均衡負載。

問：MSK Serverless 支援多大的資料輸送容量？
MSK Serverless 為每個叢集提供最高 200 Mbps 的寫入容量和 400 Mbps 的讀取容量。此外，為了確保叢集內所有分割區具有充足的輸送量可用性，MSK Serverless 可為每個分割區配置最高 5 Mbps 的即時寫入容量和 10 Mbps 的即時讀取容量。

問：MSK Serverless 提供什麼安全功能？
MSK Serverless 使用 AWS Key Management Service (KMS) 核發的服務受管金鑰對傳輸中的所有流量和所有靜態資料進行加密。用戶端使用 AWS PrivateLink 透過私有連線連接至 MSK Serverless，而無需將您的流量暴露給公有網際網路。此外，MSK Serverless 還提供 IAM Access Control，您可以用來管理對 Apache Kafka 資源 (例如主題) 的用戶端身分驗證和用戶端授權。

問：生產者和取用者如何存取我的 MSK Serverless 叢集？
建立 MSK Serverless 叢集時，您提供託管叢集用戶端的一或多個 Amazon Virtual Private Cloud (VPC) 的子網路。託管在任意這些 VPC 中的用戶端可以使用其代理程式自舉字串連線至 MSK Serverless 叢集。

問：MSK Serverless 在哪個區域中可用？
有關最新的區域可用性，請參閱 MSK 定價頁面。

問：MSK Serverless 支援哪些身分驗證類型？
MSK Serverless 目前支援 AWS IAM 進行用戶端身分驗證和授權。您的用戶端可以擔任 AWS IAM 角色進行身分驗證，您可以使用關聯的 IAM 政策強制執行存取控制。

問：如何處理我的 MSK Serverless 叢集中的資料？
您可以使用任何 Apache Kafka 相容工具來處理 MSK Serverless 叢集主題中的資料。MSK Serverless 與適用於 Apache Flink 的 Amazon Kinesis Data Analytics 整合以進行可設定狀態的串流處理，及與 AWS Lambda 整合以進行事件處理。您還可以使用 Kafka Connect 接收連接器將資料傳送至任何所需的目的地。

問：MSK Serverless 如何確保高可用性？
在您建立分割區時，MSK Serverless 會建立它的 2 個複本並將它們放在不同的可用區域中。此外，MSK Serverless 會自動偵測和復原失敗的後端資源以維護高可用性。

問：是否可以使用 Apache Kafka API 來傳入或傳出 Apache Kafka 中的資料？
可以，Amazon MSK 支援原生 Apache Kafka 生產者和取用者 API。當用戶端開始使用 Amazon MSK 內的叢集時，您不需要調整應用程式的程式碼。

問：是否可以將 Apache Kafka Connect、Apache Kafka Streams 或 Apache Kafka 的任何其他生態系統元件搭配 Amazon MSK 使用？
是，任何運用 Apache Kafka 生產者和取用者 API、以及 Apache Kafka AdminClient 的元件，您都可以使用。用於將 .jar 檔案上傳至 Apache Kafka 叢集的工具，目前與 Amazon MSK 不相容，這些工具包括 Confluent Control Center、Confluent Auto Data Balancer 和 Uber uReplicator。

問：是否支援 Apache Kafka 版本升級？
是，Amazon MSK 支援全受管就地 Apache Kafka 版本升級，用於佈建叢集。要進一步了解升級 Apache Kafka 版本和高可用性最佳實務，請參閱版本升級文件。

問：我是否可以變更預設代理程式組態，或將叢集組態上傳至 Amazon MSK？
是，Amazon MSK 可讓您建立自訂組態，並將其套用至全新和現有的叢集。若需自訂組態的詳細資訊，請參閱組態說明。

問：我能夠自訂哪些組態內容？
您可以自訂的組態內容記載於此處。

問：新主題的預設組態為何？
Amazon MSK 會使用 Apache Kafka 的預設組態，除非此處另有指定。

問：Amazon MSK 是否在 Amazon VPC 中執行？
是，Amazon MSK 一律在 Amazon MSK 服務所管理的 Amazon VPC 中執行。Amazon MSK 資源會提供給您在設定叢集時所選取的自有 Amazon VPC、子網路和安全群組使用。VPC 的 IP 地址會透過彈性網路介面 (ENI) 連接到您的 Amazon MSK 資源，而且依預設所有網路流量都不會離開 AWS 網路，也無法從網際網路存取。

問：是否可以讓 VPC 中的用戶端存取 Amazon MSK 叢集中的代理程式？
您 VPC 中的用戶端將可以透過您帳戶中顯示的 ENI 存取您叢集中的代理程式。ENI 上的安全群組會指定代理程式允許之輸入和輸出流量的來源與類型。

問：是否可以透過公有網際網路連線到我的叢集？
是，Amazon MSK 提供了一個選項，可以透過網際網路安全地連接至執行 Apache Kafka 2.6.0 或更新版本的 Amazon MSK 叢集的代理程式。透過啟用公有存取權，私有 Amazon Virtual Private Cloud (VPC) 外部的授權用戶端可以將加密資料串流入和串流出特定的 Amazon MSK 叢集。您可以在建立叢集後為 MSK 叢集啟用公有存取權，無需額外成本，但需支付適用於叢集輸入和輸出的標準 AWS 資料傳輸成本。若要進一步了解如何開啟公有存取權，請參閱公有存取文件。

問：我的用戶端與 Amazon MSK 叢集之間的連線是否為私有？
依預設，從 Amazon MSK 叢集產生並取用資料的唯一方式，是透過 VPC 中的用戶端與 Amazon MSK 叢集之間的專用連線。但是，如果您為 Amazon MSK 叢集開啟公有存取權並使用公有 bootstrap-brokers 字串連接至您的 MSK 叢集，則連接雖然經過身分驗證、授權和加密，但不再視為私有。我們建議您將叢集的安全群組設定為具有允許來自受信任 IP 地址的公有存取的入站 TCP 規則，並在您開啟公有存取權時盡可能限制這些規則。

問：如何透過網際網路連線到 Amazon MSK 叢集？
最簡單的方法是透過網際網路開啟與執行 Apache Kafka 2.6.0 或更新版本的 MSK 叢集代理程式的公有連線。出於安全考慮，在建立 MSK 叢集時，您無法開啟公有存取權。但是，您可以更新現有叢集以使其可公開存取。您也可以建立一個新叢集，然後進行更新以使其可公開存取。若要進一步了解如何開啟公有存取權，請參閱公有存取文件。

問：如何從 AWS 網路內部和叢集的 Amazon VPC 外部連接至我的 Amazon MSK 叢集？
您可以透過為執行 Apache Kafka 2.7.1 版或更新版本的 MSK 叢集開啟多 VPC 私有連線功能，從與 MSK 叢集不同的任何 VPC 或 AWS 帳戶連線至 MSK 叢集。您只能在針對任何支援的身分驗證方案 (IAM 身分驗證、SASL SCRAM 和 MTL 身分驗證) 建立叢集之後開啟私有連線。您應該將用戶端設定為使用 Amazon MSK 受管 VPC 連線 (使用 AWS PrivateLink 技術啟用私有連線) 私有連線至叢集。若要進一步了解如何設定私有連線，請參閱從 AWS 內存取文件。

問：我可以對 Amazon MSK 叢集中的資料加密嗎？
可以，Amazon MSK 使用 Amazon Elastic Block Store (Amazon EBS) 伺服器端加密和 AWS Key Management Service (AWS KMS) 金鑰來加密保護儲存磁碟區。

問：Amazon MSK 叢集內的代理程式之間資料是否會在傳輸時加密？
是，依據預設，新叢集會透過 TLS 針對代理程式間的通訊啟用傳輸時加密。對於佈建叢集，建立叢集時，您可以選擇不使用傳輸時加密。

問：我可以對 Apache Kafka 用戶端與 Amazon MSK 服務之間的資料進行傳輸時加密嗎？
是，依據預設，僅針對從 CLI 或 AWS 管理主控台建立的叢集對 TLS 設定傳輸時加密。用戶端需要其他組態才能使用 TLS 加密與叢集通訊。對於佈建叢集，您可以選取 TLS/純文字或純文字設定，來變更預設加密設定。閱讀其他資訊︰關於 MSK 加密。

問：移動 Amazon MSK 叢集內代理程式與 Apache ZooKeeper 節點之間的資料時，是否會對資料進行傳輸時加密？
是，執行 Apache Kafka 2.5.1 或更高版本的 Amazon MSK 叢集，支援 Kafka 代理程式與 ZooKeeper 節點之間的 TLS 傳輸中加密。

問：我如何控制叢集身分驗證和 Apache Kafka API 授權？
對於無伺服器叢集，您可以使用 IAM Access Control 進行身分驗證和授權。對於佈建叢集，您有三個選項：1) AWS Identity and Access Management (IAM) Access Control，適用於 AuthN/Z (建議)， 2) 適用於 AuthN 的 TLS 憑證身分驗證 (CA)，適用於 AuthZ 的存取控制清單，以及 3) 適用於 AuthN 的 SASL/SCRAM 和適用於 AuthZ 的存取控制清單。Amazon MSK 建議使用 IAM Access Control。這是最容易的方式，且由於預設為最低權限存取，因此，是最安全的選項。

問：Amazon MSK 如何執行授權作業？
如果您使用 IAM Access Control，Amazon MSK 使用您編寫的專長及其自己的授權方來授權動作。如果您使用 TLS 憑證驗證或 SASL/SCRAM，Apache Kafka 使用存取控制清單 (ACL) 進行授權。若要啟用 ACL，您必須使用 TLS 憑證或 SASL/SCRAM 啟用用戶端身份驗證。

問：如何同時驗證和授權用戶端？
如果您使用 IAM Access Control，Amazon MSK 將為您驗證和授權，而無需進行任何額外的設定。如果使用 TLS 驗證，您可以使用用戶端 TLS 憑證的 Dname 作為 ACL 的主體，授權用戶端請求。如果使用 SASL/SCRAM，則可以使用者名稱作為 ACL 的主體，授權用戶端請求。

問：我如何控制服務 API 動作？
您可以使用 AWS Identity and Access Management (IAM) 控制服務 API 操作。

問：是否可以為現有叢集啟用 IAM Access Control？
可以，您可以從 AWS 主控台或透過使用 UpdateSecurity API 為現有叢集啟用 IAM Access Control。

問：是否可以在 Amazon MSK 之外使用 IAM Access Control？
不可以，IAM Access Control 僅可用於 Amazon MSK 叢集。

問：如何在與 Amazon MSK 不同的 AWS 帳戶中向 Kafka 用戶端提供跨帳戶存取許可，以私有連線至 Amazon MSK 叢集？
您可以將叢集政策連接至 Amazon MSK 叢集，以提供跨帳戶 Kafka 用戶端許可，從而設定與 Amazon MSK 叢集的私有連線。使用 IAM 用戶端身分驗證時，您也可以使用叢集政策精細地定義連線用戶端的 Kafka 資料平面許可。若要進一步了解叢集政策，請參閱叢集政策文件。

問：什麼是 Apache ZooKeeper？
取自 https://zookeeper.apache.org 網站：「Apache ZooKeeper 是一種集中式服務，用於維護組態資訊、命名、提供分散式同步，以及提供群組服務。所有這類服務以某種形式由分散式應用程式所使用」，其中包括 Apache Kafka。

問：Amazon MSK 是否會使用 Apache ZooKeeper？
是，Amazon MSK 會使用 Apache ZooKeeper 並且會在每個叢集中管理 Apache ZooKeeper 做為 Amazon MSK 服務的一部分。每個叢集均免費隨附 Apache ZooKeeper 節點。

• Amazon S3，使用 Kinesis Data Firehose 以簡單且無程式碼的方式將資料從 MSK 交付到 Amazon S3。
  
• Amazon Virtual Private Cloud (Amazon VPC) (用於網路隔離與安全)
• Amazon CloudWatch (用於提供指標)
• 用於儲存磁碟區加密的 AWS Key Management Service (AWS KMS)。
• Amazon IAM (用於身分驗證和授權 Apache Kafka 和 服務 API)
• AWS Lambda (用於 MSK 事件來源)
• AWS IoT (用於 IoT 事件來源)
• AWS Glue Schema Registry (用於控制 Apache Kafka 應用程式使用的結構描述的演進)
  
• AWS CloudTrail (用於 AWS API 日誌)
• AWS Certificate Manager (用於用戶端 TLS 身分驗證的私有 CA)
• AWS CloudFormation (用於使用程式碼描述和佈建 Amazon MSK 叢集)
  
• Amazon Kinesis Data Analytics (用於全受管 Apache Flink 應用程式，可處理串流資料)
  
• Amazon Kinesis Data Analytics Studio (用於 Apache Kafka 上的互動式串流 SQL)
  
• AWS Secrets Manager (用於作為 SASL/SCRAM 身分驗證的用戶端憑證)
  

• Amazon S3，使用 Kinesis Data Firehose 以簡單且無程式碼的方式將資料從 MSK 交付到 Amazon S3。
  
• Amazon VPC (用於網路隔離與安全)
• Amazon CloudWatch (用於提供指標)
• Amazon IAM (用於身分驗證和授權 Apache Kafka 和服務 API)
• AWS Glue Schema Registry (用於控制 Apache Kafka 應用程式使用的結構描述的演進)
• AWS CloudTrail (用於 AWS API 日誌)
• AWS PrivateLink (用於私有連線)
  

問：Amazon MSK 採用何種定價方式？
定價取決於您建立的資源。您可以造訪定價頁面進一步了解。

問：我是否要針對資料複寫產生的資料傳輸支付費用？
否，服務內含所有叢集內的資料傳輸，不會另外收費。

問：哪些 AWS 區域提供 Amazon MSK？
此處記錄了 Amazon MSK 區域可用性。

問：資料傳輸的定價方式為何？
藉由佈建叢集，您會針對傳入和傳出 Amazon MSK 叢集的資料支付標準 AWS 數據傳輸費。在同一區域的叢集內進行的資料傳輸將不會收費，包括不同代理程式之間的資料傳輸，以及代理程式與 Apache ZooKeeper 節點之間的資料傳輸。

藉由無伺服器叢集，您會為傳輸至另一個區域或從另一個區域傳輸來的資料和傳出至公有網際網路的資料支付標準 AWS 數據傳輸費。

• HIPAA 合格

• PCI

• ISO

• SOC 1、2、3

如需 AWS 服務和合規計劃的完整清單，請參閱合規計劃的 AWS 服務範圍。