Kafka と RabbitMQ の違いは何ですか?

RabbitMQ と Apache Kafka を使用すると、プロデューサーはコンシューマーにメッセージを送信できます。プロデューサーは情報を公開するアプリケーションであり、コンシューマーはサブスクライブして情報を処理するアプリケーションです。

RabbitMQ と Kafka では、プロデューサーとコンシューマーの相互作用が異なります。RabbitMQ は、メッセージを送信して、プロデューサーはメッセージが目的のコンシューマーに届くかどうかを監視します。一方、Kafka プロデューサーは、コンシューマーがメッセージを取得したかどうかに関係なく、メッセージをキューに発行します。

RabbitMQ は、郵便物を受け取って目的の受取人に届ける郵便局と考えることができます。一方、Kafka は、プロデューサーが発行するさまざまなジャンルのメッセージを棚に整理するライブラリに似ています。次に、コンシューマーはそれぞれの棚からメッセージを読み、読んだ内容を覚えます。 

RabbitMQ アーキテクチャアプローチ

RabbitMQ ブローカーは、以下のコンポーネントを使用して低レイテンシーで複雑なメッセージ配信を可能にします。

• エクスチェンジはプロデューサーからメッセージを受信し、メッセージのルーティング先を決定します
• キューは、エクスチェンジからメッセージを受信してコンシューマーに送信するストレージです
• バインディングは、取引所とブローカーをつなぐ経路です。

RabbitMQ では、ルーティングキーはエクスチェンジからのメッセージを特定のキューにルーティングするために使用されるメッセージ属性です。プロデューサーがメッセージをエクスチェンジに送信すると、メッセージの一部としてルーティングキーが含まれます。次に、エクスチェンジはこのルーティングキーを使用して、メッセージを配信するキューを決定します。

Kafka のアーキテクチャアプローチ

Kafka クラスターは、より複雑なアーキテクチャで高スループットのストリームイベント処理を実現します。Kafka の主要コンポーネントは次のとおりです。

• Kafka ブローカーは、プロデューサーがコンシューマーにデータをストリーミングできるようにする Kafka のサーバーです。 Kafka ブローカーにはトピックとそれぞれのパーティションが含まれています。 
• トピックは、Kafka ブローカーで同様のデータをグループ化するデータストレージです。 
• パーティションは、コンシューマーがサブスクライブするトピック内の小さなデータストレージです。 
• ZooKeeper は、Kafka クラスターとパーティションを管理して耐障害性の高いストリーミングを実現する特別なソフトウェアです。ZooKeeper は最近、Apache Kafka Raft (KRaft) プロトコルに置き換えられました。

Kafka のプロデューサーは、メッセージごとにメッセージキーを割り当てます。次に、Kafka ブローカーはメッセージをその特定のトピックの先頭パーティションに保存します。KRaft プロトコルは、コンセンサスアルゴリズムを使用して先頭のパーティションを決定します。 

RabbitMQ はシンプルなアーキテクチャで複雑なメッセージルーティングを提供するのに対し、Kafka はアプリケーションがストリーム履歴のデータを処理できる耐久性のあるメッセージブローカーシステムを提供します。

次に、両方のメッセージブローカーの違いをさらに説明します。 

パフォーマンス

RabbitMQ と Kafka はどちらも、それぞれの用途に適した高性能なメッセージ転送機能を備えています。ただし、Kafka のメッセージ転送能力は RabbitMQ よりも優れています。

Kafka はシーケンシャルディスク I/O を使用して高スループットのメッセージ交換を可能にしているため、1 秒あたり数百万件のメッセージを送信できます。シーケンシャルディスク I/O は、隣接するメモリ空間のデータを保存してアクセスするストレージシステムで、ランダムディスクアクセスよりも高速です。

RabbitMQ は 1 秒間に何百万件ものメッセージを送信することもできますが、そのためには複数のブローカーが必要です。通常、RabbitMQ のパフォーマンスは 1 秒あたり平均数千件のメッセージであり、RabbitMQ のキューが混雑している場合は速度が低下する可能性があります。 

セキュリティ

RabbitMQ と Kafka により、アプリケーションはメッセージを安全に交換できますが、テクノロジーは異なります。

RabbitMQ には、ユーザー許可とブローカーのセキュリティを管理するための管理ツールが付属しています。

一方、Apache Kafka アーキテクチャは、TLS と Java Authentication and Authorization Service (JAAS) による安全なイベントストリームを提供します。TLS はメッセージの意図しない盗聴を防ぐ暗号化技術であり、JAAS はどのアプリケーションがブローカーシステムにアクセスできるかを制御します。 

プログラミング言語とプロトコル

Kafka と RabbitMQ はどちらも、デベロッパーが使い慣れたさまざまな言語、フレームワーク、プロトコルをサポートしています。

Kafka と RabbitMQ 用のクライアントアプリケーションを構築するときは、Java と Ruby でコーディングできます。さらに、Kafka は Python と Node.js をサポートし、RabbitMQ は JavaScript、Go、C、Swift、Spring、Elixir、PHP、.NET をサポートしています。

Kafka は TCP 経由のバイナリプロトコルを使用してリアルタイムのデータパイプラインにメッセージをストリーミングしますが、RabbitMQ はデフォルトで Advanced Message Queuing Protocol (AMQP) をサポートしています。RabbitMQ は、メッセージをルーティングするための Simple Text Orientated Messaging Protocol (STOMP) や MQTT などのレガシープロトコルもサポートしています。

MQTT について読む »

RabbitMQ と Kafka は競合するメッセージブローカーではないことを理解することが重要です。どちらも、一方が他方よりも適しているさまざまなユースケースでのデータ交換をサポートするように設計されています。

次に、RabbitMQ と Kafka について考慮すべきいくつかのユースケースについて説明します。

イベントストリームのリプレイ

Kafka は、受信したデータを再分析する必要があるアプリケーションに適しています。保存期間内にストリーミングデータを複数回処理したり、分析用のログファイルを収集したりできます。

RabbitMQ によるログ集約は、メッセージは一度消費されると削除されるため、より困難です。回避策は、保存されているプロデューサーからのメッセージを再生することです。

リアルタイムのデータ処理

Kafka は非常に低いレイテンシーでメッセージをストリーミングし、ストリーミングデータをリアルタイムで分析するのに適しています。例えば、Kafka を分散監視サービスとして使用して、オンライントランザクション処理のアラートをリアルタイムで送信できます。

複雑なルーティングアーキテクチャ

RabbitMQ は、あいまいな要件や複雑なルーティングシナリオを持つクライアントに柔軟に対応します。例えば、RabbitMQ を設定して、異なるバインディングやエクスチェンジを使ってさまざまなアプリケーションにデータをルーティングできます。

効果的なメッセージ配信

RabbitMQ はプッシュモデルを適用します。つまり、プロデューサーはクライアントアプリケーションがメッセージを消費したかどうかを知ることができます。データの交換や分析の際に特定のシーケンスや配信保証を順守する必要があるアプリケーションに適しています。 

言語とプロトコルのサポート

デベロッパーは、MQTT や STOMP などのレガシープロトコルとの下位互換性を必要とするクライアントのアプリケーションに RabbitMQ を使用しています。RabbitMQ は、Kafka に比べて幅広いプログラミング言語もサポートしています。

	RabbitMQ	Kafka
アーキテクチャ	RabbitMQ のアーキテクチャは、複雑なメッセージルーティング用に設計されており、プッシュモデルを使用しています。プロデューサーは、さまざまなルールでコンシューマーにメッセージを送信します。	Kafka は、パーティションベースの設計を用いて、リアルタイムで高スループットのストリーム処理を行っており、プルモデルを使用しています。プロデューサーは、コンシューマーがサブスクライブしているトピックやパーティションにメッセージを発行します。
メッセージの処理	RabbitMQ ブローカーはメッセージ消費量を監視します。メッセージは消費された後に削除されます。メッセージの優先順位をサポートします。	コンシューマーはオフセットトラッカーでメッセージの取得状況を追跡します。Kafka は保存ポリシーに従ってメッセージを保持します。メッセージの優先度はありません。
パフォーマンス	RabbitMQ は低レイテンシーで、毎秒数千のメッセージを送信します。	Kafka は、1 秒あたり最大数百万のメッセージをリアルタイムで送信します。
プログラミング言語とプロトコル	RabbitMQ は幅広い言語とレガシープロトコルをサポートしています。	Kafka のプログラミング言語の選択肢は限られています。データ転送には TCP 経由のバイナリプロトコルを使用します。