Kafka 和 Redis 有什么区别？

Apache Kafka 是事件流式传输平台，可让多个应用程序相互独立地流式传输数据。这些应用程序称为生产者和使用者，用于向某些数据分区（称为主题）发布和订阅信息。

同时，Redis 设计为内存数据库，支持应用程序之间的低延迟数据传输。Redis 将所有消息存储在 RAM（而非硬盘）上，以减少数据读取和写入时间。类似于 Kafka，多个使用者可以订阅 Redis 流来检索消息。

尽管可以将两者都用于发布/订阅消息收发，但 Kafka 和 Redis 的工作原理有所不同。

Kafka 工作流程

Apache Kafka 通过计算集群连接生产者和使用者。每个集群由驻留在不同服务器上的多个 Kafka 代理组成。

Kafka 出于以下目的创建主题和分区：

• 主题用于对属于感兴趣主旨（例如电子邮件、付款、用户和购买）的类似数据进行分组
• 跨不同代理进行分区以实现数据复制和容错

生产者向代理发布消息。当代理收到消息时，它会将数据归类为一个主题，并将数据存储在分区中。使用者连接到相关主题并从其分区中提取数据。

Redis 工作流程

Redis 使用作为 NoSQL 数据库系统的客户端-服务器架构运行。生产者和使用者之间采用松散耦合的架构，在发送消息时不必彼此了解。

Redis 将密钥和主要-辅助节点用于以下目的：

• 密钥用于对类似消息进行分组。例如，“电子邮件”是指向仅保存电子邮件消息的数据存储的密钥。 
• 主要-辅助节点用于消息复制。

当生产者向特定节点发送消息时，Redis 会通过检查消息密钥将消息传送给所有连接的订阅者。使用者必须始终启动并保持与 Redis 服务器的活跃连接，才能接收消息。这称为连接式传送语义。

了解发布/订阅消息收发 »

总体而言，Apache Kafka 在发布/订阅消息收发方面的表现优于 Redis，因为 Kafka 是专门为数据流式传输而设计的。在 Redis 可处理的几种不同使用案例中，我们无法使用 Kafka。 

并行性

并行性是指多个使用者能够同时接收同一条消息。

Redis 不支持并行性。

另一方面，Kafka 允许将同一条消息同时分发给多个使用者。 通常，Kafka 使用者组中的使用者轮流从分区检索新消息。如果多个使用者组中只有一个使用者，则该使用者会检索所有消息。通过利用此设置和分区复制，您可以在每个分区副本上为每个使用者组分配一个使用者。这可让所有使用者检索类似的消息序列。 

吞吐量

吞吐量衡量每个系统每秒可以处理的消息数量。

Kafka 的吞吐量通常高于 Redis 发布/订阅。Kafka 可处理更多的数据，因为它不必等待每个订阅者收到消息，即可转移到另一个订阅者。相反，Kafka 将当前消息存储在内存缓存和存储器上，从而优化读取速度。 

但是，如果使用者检索消息的速度不够快，Kafka 的性能可能会降低，因为缓存中的未读取消息最终会被移除。在这种情况下，使用者必须从磁盘读取，从而降低速度。

同时，Redis 必须等待每个使用者的确认，在有更多连接节点时会显著降低吞吐量。解决方法是使用名为管道的流程发送多个请求，但这可以降低其消息收发延迟。 

延迟

Kafka 和 Redis 都适用于低延迟的数据处理。Redis 提供较短的消息收发时间（以毫秒为单位），而 Kafka 的平均消息收发时间为数十毫秒。

考虑到 Redis 主要在 RAM 上读取和写入数据，它的处理速度自然要快于 Kafka。但是，Redis 在处理较大的消息时可能无法保持超低延迟的数据操作。同时，Kafka 需要更多时间在不同的物理驱动器上复制分区以实现数据持久性，这会增加消息传送时间的开销。

可以优化 Redis 和 Kafka 的延迟，但必须谨慎行事。例如，您可以压缩 Kafka 消息以降低延迟，但生产者和使用者需要更多时间来解压缩这些消息。

Redis 中的延迟可能由多种因素引起，包括操作环境、网络操作、缓慢执行的命令或分叉。为了降低分叉延迟，Redis 建议在基于硬件虚拟机（HVM）的现代 EC2 实例上运行发布/订阅传送系统。

容错能力

Kafka 将所有数据写入领先代理的存储磁盘，然后在不同的服务器上进行复制。当服务器出现故障时，多个订阅者会从备份分区检索数据。 

与 Kafka 不同，Redis 默认不备份数据，并且用户必须手动启用该功能。Redis 使用内存中数据存储，在计算机断电时会丢失所有数据。为了避免数据丢失，开发人员开启 Redis 数据库（RDB）持久性，定期捕获 RAM 数据的快照并将其存储在磁盘上。 

	Apache Kafka	Redis
消息大小	通过压缩和分层存储，支持最大 1 GB 的消息大小。	支持较小的消息大小。
消息传输	订阅者从队列中拉取消息。	Redis 服务器向连接的订阅者推送消息。
消息保留	检索后保留消息。	不保留消息。
错误处理	消息收发级别的强大错误处理。死信队列、事件重试和重定向。	您必须在应用程序级别处理 Redis 异常，包括超时、客户端限制和内存缓冲容量。
并行性	Kafka 支持并行性。多个使用者可以同时检索同一条消息。	不支持并行性。
吞吐量	由于采用异步读/写，吞吐量较高。	由于 Redis 服务器在向其他订阅者发送消息之前需要等待回复，吞吐量较低。
延迟	低延迟。由于默认会进行数据复制，因此比 Redis 稍慢一些。	分发较小的消息时延迟极低。
容错能力	自动将分区备份到不同的代理。	默认情况下不备份。用户可以手动启用 Redis 持久性。存在少量数据丢失的风险。