Amazon Managed Streaming for Kafka (MSK)

(公开预览版)

完全托管、高度可用且安全的 Apache Kafka 服务

Amazon Managed Streaming for Kafka (Amazon MSK) 是一项完全托管的服务,使您能够轻松构建并运行使用 Apache Kafka 的应用程序来处理流数据。 Apache Kafka 是一个开源平台,用于构建实时流数据管道和应用程序。借助 Amazon MSK,您可以使用 Apache Kafka API 填充数据湖,使更改流入和流出数据库,以及驱动机器学习和分析应用程序。

Apache Kafka 集群很难在生产环境中进行设置、扩展和管理。当您自己运行 Apache Kafka 时,您需要预置服务器,手动配置 Apache Kafka,更换发生故障的服务器,编排服务器补丁和升级,构建集群以实现高可用性,确保数据得到持久存储和保护,设置监控和警报,以及仔细规划扩展事件以支持负载变化。Amazon Managed Streaming for Kafka 使您可以在 Apache Kafka 上轻松构建并运行生产应用程序,而无需 Apache Kafka 基础设施管理技能。这意味着您可以花费较少的时间管理基础设施,从而有更多的时间来构建应用程序。

只需在 Amazon MSK 控制台中单击几下,您即可根据 Apache Kafka 的部署最佳实践创建具有设置和配置的高可用性 Apache Kafka 集群。Amazon MSK 自动预置和运行 Apache Kafka 集群。Amazon MSK 持续监控集群运行状况,并自动替换运行状况不佳的节点,而不会导致应用程序停机。此外,Amazon MSK 通过加密静态数据来保护您的 Apache Kafka 集群。

优势

完全兼容

Amazon MSK 为您运行和管理 Apache Kafka。这使您可以轻松地在 AWS 上迁移和运行现有的 Apache Kafka 应用程序,而无需更改应用程序代码。通过使用 Amazon MSK,您可以保持开源兼容性,并且可以继续使用熟悉的自定义工具和社区构建的工具,例如提供流复制功能的 MirrorMaker

完全托管

Amazon MSK 使您可以专注于创建流应用程序,而无需担心管理 Apache Kafka 环境的运营开销。Amazon MSK 为您管理 Apache Kafka 集群和 Apache Zookeeper 节点的预置、配置和维护。Amazon MSK 还在 AWS 控制台中显示关键的 Apache Kafka 性能指标。

高度可用

Amazon MSK 创建 Apache Kafka 集群,并在 AWS 区域内提供多可用区复制。Amazon MSK 持续监控集群运行状况,如果组件发生故障,Amazon MSK 将自动替换它。

高度安全

Amazon MSK 为您的 Apache Kafka 集群提供多种安全级别,包括网络隔离、使用 Amazon VPC 或 AWS IAM 进行控制层面 API 身份验证以及静态加密。Amazon MSK 的加密支持与 AWS Key Management Service (KMS) 集成。

工作原理

Apache Kafka 是一个流数据存储,它将生成流数据的应用程序(生产者)与从其数据存储中使用流数据的应用程序(使用者)分离到其数据存储中。组织使用 Apache Kafka 作为持续分析和响应流数据的应用程序的数据源。

只需在 Amazon MSK 控制台中单击几下,Amazon MSK 即可预置您的 Apache Kafka 集群并管理 Apache Kafka 升级,因此您始终使用最安全、最快速的 Apache Kafka 版本。配置集群后,您的应用程序可以将数据从生产者流式传输到主题,消费者可以实时读取这些数据。

product-page-diagram_Grand-Canyon-How-It-Works2

开始使用 Amazon MSK

Product-Page_Standard-Icons_02_Sign-Up_SqInk
设置 Amazon MSK 集群

注册 AWS 并下载库和工具。

Product-Page_Standard-Icons_01_Product-Features_SqInk
查看入门指南

请参阅本分步指南,了解如何在 Amazon MSK 上设置 Apache Kafka 集群。

Product-Page_Standard-Icons_03_Start-Building_SqInk
运行您的 Apache Kafka 集群

开始在 Amazon MSK 上运行 Apache Kafka 集群。登录 Amazon MSK 控制台