В чем разница между Kafka и Redis?

Apache Kafka – это платформа потоковой передачи событий, которая позволяет нескольким приложениям передавать данные независимо друг от друга. Эти приложения, называемые производителями и потребителями, публикуют и подписывают информацию в определенных разделах данных, называемых темами, а также из них.

Между тем сервис Redis представляет собой базу данных в памяти, поддерживающую передачу данных между приложениями с малой задержкой. Сервис хранит все сообщения в оперативной памяти, а не на жестком диске, чтобы сократить время чтения и записи данных. Как и в случае с Kafka, несколько пользователей могут подписаться на поток Redis для получения сообщений.

Для рассылки сообщений о публикациях и подписках можно использовать как Kafka, так и Redis, однако при этом стоит учитывать тот факт, что работают сервисы по-разному.

Рабочий процесс Kafka

Apache Kafka объединяет производителей и потребителей с помощью вычислительных кластеров. Каждый кластер состоит из нескольких брокеров Kafka, размещенных на разных серверах.

Kafka создает темы и разделы для таких целей:

• темы для группировки похожих данных, связанных с затрагиваемой темой, например электронная почта, платежи, пользователи и покупки;
• разделы между разными брокерами для репликации данных и обеспечения отказоустойчивости.

Производители публикуют сообщения для брокера. После получения сообщения брокер классифицирует данные по темам и сохраняет их в разделе. Потребители подключаются к соответствующей теме и извлекают данные из раздела.

Рабочий процесс Redis

Redis работает с архитектурой «клиент – сервер» в качестве системы баз данных NoSQL. Производители и потребители слабо связаны друг с другом: им не нужно знать друг друга при отправке сообщений.

Redis использует ключи, а также первичные и вторичные узлы для описанных ниже целей.

• Ключи для группировки похожих сообщений. Например, «электронная почта» – это ключ, указывающий на хранилище данных, в котором хранятся только сообщения электронной почты. 
• Первичные и вторичные узлы для репликации сообщений.

Когда производитель отправляет сообщение определенному узлу, Redis доставляет его всем подключенным подписчикам, проверяя ключ сообщения. Чтобы получать сообщения, потребителю следует обязательно установить и поддерживать активное соединение с сервером Redis. Это называется семантикой подключенной доставки.

Подробнее о рассылке сообщений о публикациях и подписках »

В целом Apache Kafka превосходит Redis в рассылке сообщений о публикациях и подписках, поскольку сервис был разработан специально для потоковой передачи данных. Сервис Redis предусматривает несколько вариантов использования, исключительных для Kafka. 

Параллелизм

Параллелизм – это способность нескольких потребителей получать одно и то же сообщение одновременно.

Redis не поддерживает параллелизм.

С другой стороны, Kafka позволяет одновременно рассылать одно и то же сообщение нескольким потребителям. Обычно потребители в группах потребителей Kafka по очереди получают новые сообщения из раздела. При наличии лишь одного потребителя в нескольких группах потребителей такой потребитель получает все сообщения. Преимущества этой настройки и репликации разделов позволяют назначить одного потребителя каждой группе потребителей на каждой реплике раздела. Таким образом, все потребители будут получать сообщения в одинаковой последовательности. 

Пропускная способность сети

Пропускная способность измеряет количество сообщений, которые каждая система может обрабатывать в секунду.

Пропускная способность Kafka обычно выше, чем модель «издатель – подписчик» Redis. Kafka обрабатывает гораздо большие объемы данных, поскольку сервису не нужно ждать, пока каждый подписчик получит сообщение, прежде чем перейти к другому. Вместо этого сервис сохраняет текущие сообщения в кэше памяти и хранилище, что оптимизирует скорость чтения. 

Однако производительность Kafka может снизиться, если потребители не получат сообщение достаточно быстро, поскольку непрочитанные сообщения в кэше в конечном итоге удаляются. В этом случае потребители вынуждены читать с диска, который работает медленнее.

В то же время Redis приходится ждать подтверждения от каждого потребителя, что значительно снижает пропускную способность при увеличении количества подключенных узлов. Обходной путь – отправка нескольких запросов посредством процесса под названием конвейерная обработка, однако стоит учесть, что это уменьшает задержку рассылки. 

Задержка

Как Kafka, так и Redis подходят для обработки данных с малой задержкой. Время рассылки с помощью Redis меньше, оно исчисляется в миллисекундах, тогда как время рассылки с помощью Kafka в среднем составляет десятки миллисекунд.

Поскольку Redis выполняет чтение и запись данных в основном в оперативной памяти, сервис, безусловно, опережает Kafka по показателям скорости. Однако Redis может не поддерживать операции с данными со сверхнизкой задержкой при обработке больших сообщений. В то же время Kafka требуется больше времени на репликацию разделов на разных физических дисках для сохранения данных, что увеличивает время доставки сообщений.

Оптимизация задержек для Redis и Kafka возможна, однако при этом следует соблюдать соответствующие меры предосторожности. Например, сообщения Kafka можно сжимать, чтобы уменьшить задержку, но при этом производителям и потребителям потребуется больше времени на их распаковку.

Задержка в Redis может быть вызвана несколькими факторами, включая операционную среду, сетевые операции, медленные команды или ответвление. Чтобы сократить задержки при ответвлении, Redis рекомендует запускать систему по модели «издатель – подписчик» на современных инстансах EC2 на базе аппаратной виртуальной машины.

Отказоустойчивость

Kafka записывает все данные на диск хранения ведущего брокера и реплицирует их на разные серверы. При сбое сервера несколько подписчиков извлекают данные из резервных разделов. 

В отличие от Kafka, Redis по умолчанию не создает резервные копии данных, поэтому пользователям приходится включать эту функцию вручную. Redis использует хранилище данных в памяти, при выключении питания которого все данные утрачиваются. Во избежание таких инцидентов разработчики включили функцию сохранения базы данных Redis, чтобы периодически делать снимки данных оперативной памяти и сохранять их на диске. 

	Apache Kafka	Redis
Размер сообщения	Поддерживает размер сообщений до 1 ГБ со сжатием и многоуровневым хранилищем.	Поддерживает меньший размер сообщения.
Доставка сообщений	Подписчики извлекают сообщения из очереди.	Сервер Redis отправляет сообщения подключенным подписчикам.
Хранение сообщений	Сохраняет сообщения после извлечения.	Не сохраняет сообщения.
Обработка ошибок	Надежная обработка ошибок на уровне сообщений. Очередь недоставленных писем, повторная попытка для события и перенаправление.	Исключения Redis необходимо обрабатывать на уровне приложений с применением тайм-аутов, ограничений клиентов и объемов буфера памяти.
Параллелизм	Kafka поддерживает параллелизм. Несколько потребителей могут одновременно получать одно и то же сообщение.	Не поддерживает параллелизм.
Пропускная способность сети	Обладает более высокой пропускной способностью благодаря асинхронному чтению и записи.	Скорость пропускной способности снижается, поскольку серверу Redis необходимо дождаться ответа, прежде чем отправлять сообщение другому подписчику.
Задержка	Низкая задержка. Скорость несколько снижается по сравнению с Redis из-за репликации данных по умолчанию.	Сверхнизкая задержка при рассылке сообщений меньшего размера.
Отказоустойчивость	Автоматическое резервное копирование разделов для разных брокеров.	По умолчанию резервное копирование не выполняется. Пользователи могут включить постоянное хранение Redis вручную. Риск потери небольших данных.