Hadoop と Spark の違いは?

Hadoop と Spark はどちらもデータを大規模に処理できる分散システムです。何らかの理由でデータ処理が中断された場合でも、障害から回復できます。

分散型ビッグデータ処理

ビッグデータは、頻繁に、継続的に、さまざまな形式で大規模に収集されます。

ビッグデータを保存、管理、処理するために、Apache Hadoop はデータセットをより小さなサブセットまたはパーティションに分割します。次に、パーティションをサーバーの分散ネットワーク上に格納します。同様に、Apache Spark は分散ノード上のビッグデータを処理して分析し、ビジネス上のインサイトを提供します。

ユースケースによっては、最適な機能を得るために Hadoop と Spark の両方を異なるソフトウェアと統合する必要がある場合があります。 

耐障害性

Apache Hadoop は、1 つまたは複数のデータ処理ノードに障害が発生しても動作し続けます。同じデータブロックの複数のコピーを作成し、複数のノードに保存します。ノードに障害が発生すると、Hadoop は別のノードから情報を取得し、データ処理の準備をします。

一方、Apache Sparkは耐障害分散データセット (RDD) と呼ばれる特別なデータ処理技術に依存しています。RDD を使用すると、Apache Spark はストレージから特定の情報を取得する方法を記憶し、基盤となるストレージに障害が発生した場合にデータを再構築できます。 

Hadoop と Spark はどちらも、さまざまな方法でビッグデータを処理できます。

Apache Hadoop は、1 台のマシンでワークロードを実行するのではなく、データ処理を複数のサーバーに委任するために作成されました。

一方、Apache Spark は Hadoop の主要な制限を克服した新しいデータ処理システムです。大規模なデータセットを処理できるにもかかわらず、Hadoop はバッチ処理のみしか行えないため、かなりの遅延が発生します。

アーキテクチャ

Hadoop には、Hadoop Distributed File System (HDFS) と呼ばれるネイティブファイルシステムがあります。HDFS を使用すると、Hadoop は大きなデータブロックを複数の小さな均一のブロックに分割できます。そして、小さなデータブロックをサーバーグループに保存します。

一方、Apache Spark には独自のネイティブファイルシステムはありません。多くの組織では、Hadoop のファイルシステム上で Spark を実行し、データを保存、管理、取得しています。

また、Spark のデータストレージオプションとして Amazon Redshift または Amazon Simple Storage Service (Amazon S3) を使用することもできます。 

パフォーマンス

Hadoop は大規模なデータセットをバッチ処理できますが、処理速度が遅くなる場合があります。データ処理のために、Hadoop は外部ストレージから情報を読み取り、そのデータを分析してソフトウェアアルゴリズムに入力します。

データ処理ステップごとに、Hadoop はデータを外部ストレージに書き戻すため、レイテンシーが増加します。そのため、リアルタイム処理タスクには適していませんが、時間遅延が許容されるワークロードには理想的です。たとえば、Hadoop は毎月の売上記録の分析に適しています。しかし、ソーシャルメディアのフィードからリアルタイムでブランドセンチメントを判断するのは最適な選択ではありません。 

一方、Apache Spark は膨大な量のデータをリアルタイムで処理するように設計されています。

外部ストレージからデータにアクセスする代わりに、Spark はデータを処理する前に RAM にコピーします。特定のタスクを完了した後にのみ、データを外部ストレージに書き戻します。RAM からの書き込みと読み取りは、外付けドライブで同じ処理を行うよりも指数関数的に高速です。さらに、Spark は取得したデータをさまざまな操作に再利用します。

そのため、単純なデータ処理と複雑なデータ処理の両方で、Spark は Hadoop よりもさまざまな点で優れています。

機械学習

Apache Spark は MLlib と呼ばれる機械学習ライブラリを提供しています。データサイエンティストは MLlib を使用してリグレッション分析、分類、およびその他の機械学習タスクを実行することができます。また、非構造化データや構造化データを使用して機械学習モデルをトレーニングし、ビジネスアプリケーションに展開することもできます。

対照的に、Apache Hadoop には機械学習ライブラリが組み込まれていません。代わりに、Spark を Apache Mahout などの他のソフトウェアと統合して、機械学習システムを構築できます。ソフトウェアの選択は、ワークロードの特定の要件によって異なります。データのサイズと複雑さ、使用する機械学習モデルのタイプ、アプリケーションのパフォーマンスとスケーラビリティの要件などを考慮することが可能です。

セキュリティ

Apache Hadoop は、データを保護するための強固なセキュリティ機能を備えて設計されています。たとえば、Hadoop は暗号化とアクセス制御を使用して、権限のない第三者がデータストレージにアクセスしたり操作するのを防ぎます。

ただし、Apache Spark だけでは、セキュリティ保護機能が限られています。Apache Software Foundation によると、Spark のセキュリティ機能を有効にし、実行する環境が安全であることを確認する必要があります。

Spark は複数のデプロイタイプをサポートしていますが、安全性は様々です。たとえば、Hadoop に Spark をデプロイすると、Hadoop の暗号化された分散ストレージにより、全体的なセキュリティが向上します。 

スケーラビリティ

Hadoop を使用すると、Spark よりもスケーリングにかかる労力が少なくて済みます。さらに処理能力が必要な場合は、低いコストで Hadoop にノードやコンピューターを追加できます。

対照的に、Spark デプロイをスケーリングするには、通常、より多くの RAM に投下する必要があります。オンプレミスインフラストラクチャのコストがすぐに積み上がる可能性があります。 

料金

Apache Hadoop は、データの保存と処理にハードディスクを使用するため、セットアップと実行がより安価です。Hadoop は標準的なコンピューターでもローエンドコンピューターでもセットアップできます。

一方、Spark はメモリ内処理に RAM を使用するため、ビッグデータを処理する場合はコストが高くなります。RAM は通常、同じストレージサイズのハードディスクよりも高価です。 

	Hadoop	Spark
アーキテクチャ	Hadoop はデータを外部ストレージに保存して処理します。	Spark はデータを内部メモリに保存して処理します。
パフォーマンス	Hadoop はデータをバッチで処理します。	Spark はデータをリアルタイムで処理します。
コスト	Hadoopは低価格です。	Spark は比較的高価です。
スケーラビリティ	Hadoop はノードを追加することで簡単に拡張できます。	Spark は比較的に難易度が高いです。
機械学習	Hadoop は外部ライブラリと統合して機械学習機能を提供します。	Spark には機械学習ライブラリが組み込まれています。
セキュリティ	Hadoop は強力なセキュリティ機能、ストレージ暗号化、アクセス制御を備えています。	Spark は基本的なセキュリティ機能を備えています。Spark をデプロイするためには、安全なオペレーション環境を自身でセットアップする必要があります。