Amazon MSK 是完全托管服务,可让您轻松构建并运行使用 Apache Kafka 的应用程序来处理流数据。Apache Kafka 集群管理工作复杂而耗时。Amazon MSK 可在 Apache Kafka 上轻松构建并运行生产应用程序,无需 Apache Kafka 基础设施管理技术,从而减少了基础设施的管理时间,增加了构建应用程序的时间。

完全兼容

支持本地 Apache Kafka API 和工具

Amazon MSK 支持本地 Apache Kafka API,以及针对这些 API 构建的现有开源工具。这使现有的 Apache Kafka 应用程序可以与 Amazon MSK 集群一起使用,而无需更改应用程序代码。您将继续使用 Apache Kafka 的 API 和开源生态系统来填充数据湖,使更改流入和流出数据库,以及驱动机器学习和分析应用程序。

无需管理服务器

完全托管

只需在 Amazon MSK 控制台中单击几下,您就可以创建完全托管的 Apache Kafka 集群,该集群遵循 Apache Kafka 的部署最佳实践,您也可以使用自定义配置创建自己的集群。创建所需配置后,Amazon MSK 会自动预置、配置和管理Apache Kafka 集群和 Apache ZooKeeper 节点的运行。

完全托管的 Apache Kafka 升级

您只需单击几下即可在 Amazon MSK 集群上升级 Apache Kafka 版本,从而可以利用新 Apache Kafka 版本中提供的功能和错误修复。Amazon MSK 使用 Apache Kafka 代理的滚动更新来提供完全托管的升级体验,以遵循高可用性最佳实践为客户启用就地升级。

已包含 Apache ZooKeeper

Apache ZooKeeper 需要运行 Apache Kafka,协调集群任务并维护与集群交互的资源状态。Amazon MSK 为您管理 Apache ZooKeeper 节点。 每个 Amazon MSK 集群都为 Apache Kafka 集群包含适当数量的 Apache ZooKeeper 节点,而无需额外费用。

高度可用

自动恢复和修补

Amazon MSK 持续监控集群的运行状况,替换运行状况不良的代理,而应用程序无须停止。Amazon MSK 管理 Apache ZooKeeper 节点的可用性,因此您无须启动、停止或直接访问节点。Amazon MSK 还按需部署软件补丁,确保您的集群保持最新状态并顺利运行。

数据复制

Amazon MSK 借助多可用区复制来实现高可用性。数据复制功能包含在内,无额外费用。 

高度安全

私有连接

您的 Apache Kafka 集群在 Amazon MSK 管理的 Amazon VPC 中运行。基于您指定的配置,您的集群可提供给自己的 Amazon VPC、子网和安全组。您可以完全控制网络配置,同时 VPC 中的 IP 地址通过弹性网络接口 (ENI) 已连接到您的 Amazon MSK 资源。

加密和安全性

Amazon MSK 无需特殊配置或第三方工具就可以加密静态数据。默认情况下,可以使用 AWS Key Management Service (KMS) Customer Master Key (CMK) 对所有数据进行静态加密,也可以使用您自己的 CMK 加密。

Amazon MSK 还可通过 TLS 在代理之间以及您的集群上的客户端与代理之间加密传输中的数据。Amazon MSK 还支持基于 TLS 的证书身份验证、由 AWS Secrets Manager 保护的 SASL/SCRAM 身份验证以及 Apache Kafka 访问控制列表 (ACL),用于对集群内的创建器和使用器进行身份验证和授权。

可扩展

扩展代理

您可以从 Amazon MSK 集群中的若干代理开始。然后,您可以使用 AWS 管理控制台或 AWS CLI 扩展到每个集群 100 个代理。如果每个集群需要超过 15 个代理,或者每个账户需要超过 30 个代理,请提交增加限额的请求。

扩展存储

您可以使用 AWS 管理控制台或 AWS CLI 无缝扩展每个代理预置的存储量,以匹配存储要求的变化,或者也可以创建自动扩展策略来自动扩展您的存储以满足流式传输要求。

成本低廉

Amazon MSK 的起始价格每天不到 2.50 USD。全面采用后,客户通常需要为摄取的每 GB 数据支付 0.05-0.07 USD。请访问 Amazon MSK 定价页面了解最新价格,并访问 Amazon MSK 最佳实践页面了解如何合理调整 Amazon MSK 集群的大小。

深度集成

Amazon MSK 通过提供开箱即用的原生 AWS 集成,使 AWS 客户能够更轻松地构建端到端解决方案。您可以在 Amazon MSK 中针对数据运行完全托管的 Apache Flink 应用程序,使用 AWS KMS 加密静态数据,使用 AWS Certificate Manager 私有 CA 或 AWS Secrets Manager 保护的客户端凭证向 Amazon MSK 验证客户端,借助 AWS CloudFormation 使用代码部署 Amazon MSK,将 Amazon VPC 内的客户端私密连接到 Amazon MSK,并利用 AWS Identity and Access Management (IAM) 实现精细的服务级别 API 控制。

可配置

默认情况下,Amazon MSK 会为 Apache Kafka 部署最佳实践集群配置,并允许客户调优 30 多项不同的集群配置,同时支持所有动态和主题级别配置。有关更多信息,请参阅文档中的自定义 MSK 配置

开始使用 Amazon MSK

计算成本
计算成本

访问 Amazon MSK 定价页面

查看入门指南
查看入门指南

请参阅本分步指南,了解如何在 Amazon MSK 上设置 Apache Kafka 集群。

运行您的 Apache Kafka 集群
运行您的 Apache Kafka 集群

开始在 Amazon MSK 上运行 Apache Kafka 集群。登录 Amazon MSK 控制台