亚马逊AWS官方博客
Tag: Amazon MSK
MSK 可靠性最佳实践
本篇博客介绍 MSK 在生产中的可靠性最佳实践。Kafka 集群、生产者客户端,以及消费者客户端如何进行配置,以达到不同的保障性需求。
利用 Lambda 将 Kinesis Data Stream 数据批量自动写入 MSK
AWS Lambda 是一项无服务器事件驱动型计算服务。利用 AWS Lambda 的无服务器特性,我们可以做到无论需要对接多少个 Kinesis Data Stream 都可以支持;每个 Kinesis Data Stream 需要接收多大的数据流量,我们都能自动扩展;而底层资源无需运维管理。
使用 Kafka Connect 简化数据采集管道
Kafka Connect是一种在Apache Kafka和其他数据系统之间实现可靠地流式传输数据的工具。快速定义将大型数据集进出kafka的连接器变得简单。Kafka Connect可以摄入整个数据库或从所有应用程序服务器中收集指标,使其成为Kafka主题数据,从而使数据可用于低延迟的流处理。本文将介绍如何使用Kafka connect 简化数据采集管道架构。
使用 Amazon DocumentDB 和 Amazon MSK 通过 Kafka 连接器流式传输数据
在现代应用程序开发和数据处理领域,使用 Apache Kafka 作为数据管道和扇出方法的标准传输机制已成为一种常见趋势。Amazon Managed Streaming for Apache Kafka(Amazon MSK)是一项完全托管的、高度可用且安全的服务,可让开发人员和 DevOps 经理轻松地在 AWS 中的 Apache Kafka 上运行应用程序,而无需具备 Apache Kafka 基础设施管理专业知识。
使用 Amazon MSK Serverless 拆分整体式 Apache Kafka 集群
如今,许多公司都在构建实时应用程序,用于改善其客户体验,并即时从数据中获得见解,以防数据失去价值。因此,各公司面临着需求的增长,需要为开发人员提供 Apache Kafka 等数据流式传输服务。
AppSync实现行情数据订阅/发布
Appsync实现无服务器条件下的实时行情数据快速发布
如何通过互联网安全地访问Amazon Managed Streaming for Apache Kafka (Amazon MSK) 集群(三)- SASL/SCRAM认证
本文手把手地介绍了如何配置Amazon MSK集群的Public Access选项,以及通过 SASL/SCRAM 身份验证的方式来安全地访问集群。Amazon MSK提供了三种可以公开访问集群的机制 – IAM 访问控制、SASL/SCRAM 以及 mTLS 身份验证,用户可以根据实际场景针对三种不同的认证方式进行选择并使用。
如何通过互联网安全地访问Amazon Managed Streaming for Apache Kafka (Amazon MSK) 集群(二)- mTLS认证
Amazon MSK提供了多种可以公开访问集群的机制,本文手把手地介绍了如何配置Amazon MSK集群的Public Access选项,以及通过 mTLS 身份验证的方式来安全地访问集群。
基于Nginx&Lua实现自建服务端埋点系统
基于Nginx&Lua实现自建服务端埋点系统。
多库多表场景下使用Amazon EMR CDC实时入湖最佳实践
多库多表场景下使用Amazon EMR CDC实时入湖最佳实践