Tag: Amazon MSK

本篇博客介绍 MSK 在生产中的可靠性最佳实践。Kafka 集群、生产者客户端，以及消费者客户端如何进行配置，以达到不同的保障性需求。

AWS Lambda 是一项无服务器事件驱动型计算服务。利用 AWS Lambda 的无服务器特性，我们可以做到无论需要对接多少个 Kinesis Data Stream 都可以支持；每个 Kinesis Data Stream 需要接收多大的数据流量，我们都能自动扩展；而底层资源无需运维管理。

Kafka Connect是一种在Apache Kafka和其他数据系统之间实现可靠地流式传输数据的工具。快速定义将大型数据集进出kafka的连接器变得简单。Kafka Connect可以摄入整个数据库或从所有应用程序服务器中收集指标，使其成为Kafka主题数据，从而使数据可用于低延迟的流处理。本文将介绍如何使用Kafka connect 简化数据采集管道架构。

在现代应用程序开发和数据处理领域，使用 Apache Kafka 作为数据管道和扇出方法的标准传输机制已成为一种常见趋势。Amazon Managed Streaming for Apache Kafka（Amazon MSK）是一项完全托管的、高度可用且安全的服务，可让开发人员和 DevOps 经理轻松地在 AWS 中的 Apache Kafka 上运行应用程序，而无需具备 Apache Kafka 基础设施管理专业知识。

如今，许多公司都在构建实时应用程序，用于改善其客户体验，并即时从数据中获得见解，以防数据失去价值。因此，各公司面临着需求的增长，需要为开发人员提供 Apache Kafka 等数据流式传输服务。

Appsync实现无服务器条件下的实时行情数据快速发布

本文手把手地介绍了如何配置Amazon MSK集群的Public Access选项，以及通过 SASL/SCRAM 身份验证的方式来安全地访问集群。Amazon MSK提供了三种可以公开访问集群的机制 – IAM 访问控制、SASL/SCRAM 以及 mTLS 身份验证，用户可以根据实际场景针对三种不同的认证方式进行选择并使用。

Amazon MSK提供了多种可以公开访问集群的机制，本文手把手地介绍了如何配置Amazon MSK集群的Public Access选项，以及通过 mTLS 身份验证的方式来安全地访问集群。

基于Nginx&Lua实现自建服务端埋点系统。

多库多表场景下使用Amazon EMR CDC实时入湖最佳实践