亚马逊AWS官方博客

Tag: Amazon MSK

使用 Kafka Connect 简化数据采集管道

Kafka Connect是一种在Apache Kafka和其他数据系统之间实现可靠地流式传输数据的工具。快速定义将大型数据集进出kafka的连接器变得简单。Kafka Connect可以摄入整个数据库或从所有应用程序服务器中收集指标,使其成为Kafka主题数据,从而使数据可用于低延迟的流处理。本文将介绍如何使用Kafka connect 简化数据采集管道架构。

使用 Amazon DocumentDB 和 Amazon MSK 通过 Kafka 连接器流式传输数据

在现代应用程序开发和数据处理领域,使用 Apache Kafka 作为数据管道和扇出方法的标准传输机制已成为一种常见趋势。Amazon Managed Streaming for Apache Kafka(Amazon MSK)是一项完全托管的、高度可用且安全的服务,可让开发人员和 DevOps 经理轻松地在 AWS 中的 Apache Kafka 上运行应用程序,而无需具备 Apache Kafka 基础设施管理专业知识。

如何通过互联网安全地访问Amazon Managed Streaming for Apache Kafka (Amazon MSK) 集群(三)- SASL/SCRAM认证

本文手把手地介绍了如何配置Amazon MSK集群的Public Access选项,以及通过 SASL/SCRAM 身份验证的方式来安全地访问集群。Amazon MSK提供了三种可以公开访问集群的机制 – IAM 访问控制、SASL/SCRAM 以及 mTLS 身份验证,用户可以根据实际场景针对三种不同的认证方式进行选择并使用。