Hadoop 和 Spark 之間的區別是什麼？
Apache Hadoop 和 Apache Spark 是兩個開放原始碼架構，可用於管理和處理用於分析的大量資料。組織必須大規模且快速地處理資料，才能取得商業智慧的即時洞察。Apache Hadoop 能讓您建立多台電腦組成的叢集，以更快地平行分析大型資料集。Apache Spark 採用記憶體內快取並將查詢執行最佳化，以快速分析查詢任何規模的資料。Spark 在資料處理中使用人工智慧和機器學習 (AI/ML)，因此是比 Hadoop 更先進的技術。但是，許多公司會同時使用 Spark 和 Hadoop 來實現資料分析目標。
Hadoop 與 Spark 之間有什麼相似之處？
Hadoop 和 Spark 都是分散式系統，可讓您大規模處理資料。如果出於任何原因中斷資料處理，它們都能從失敗中復原。
分散式大數據處理
大數據以各種格式頻繁、持續和大規模地收集資料。
為了存放、管理和處理大數據，Apache Hadoop 將資料集分隔成較小的子集或分區。然後將分區存放在伺服器的分散式網路上。同樣，Apache Spark 透過分散式節點來處理和分析大數據，以提供商業洞察。
視乎使用案例，您可能需要將 Hadoop 和 Spark 與不同的軟體整合，以獲得最佳功能。
容錯能力
即使一個或多個資料處理節點失敗，Apache Hadoop 仍會繼續執行。它製作同一個資料區塊的多個副本，並將其存放在多個節點。當一個節點失敗時，Hadoop 會從另一個節點擷取資訊，並準備用於資料處理。
同時，Apache Spark 依賴於一種稱為彈性分散式資料集 (RDD) 的特殊資料處理技術。使用 RDD，Apache Spark 會記住其如何從儲存體擷取特定資訊，並在基礎儲存體失敗時重新建構資料。
主要元件：Hadoop 與Spark 架構
Hadoop 和 Spark 都包含多個軟體模組，透過互動與協作使系統正常運作。
Hadoop 元件
Apache Hadoop 有四個主要元件：
- Hadoop 分散式檔案系統 (HDFS)，這是一種特殊的檔案系統，可以跨多部電腦存放大型資料集。這些電腦被稱為 Hadoop 叢集。
- Yet Another Resource Negotiator (YARN)，排程任務並將資源配置給 Hadoop 上執行的應用程式。
- Hadoop MapReduce，允許程式將大數據處理任務分解成較小的任務，並在多個伺服器上平行執行。
- Hadoop Common 或 Hadoop Core，針對其他 Hadoop 元件提供必要的軟體程式庫。
Spark 元件
Apache Spark 執行下列元件︰
- Spark Core，協調 Apache Spark 的基本功能。這些功能包括記憶體管理、資料儲存、任務排程和資料處理。
- Spark SQL 允許您在 Spark 的分散式儲存體中處理資料。
- Spark 串流和結構化串流，可讓 Spark 將資料分隔成微小的連續區塊，進而有效率地即時串流資料。
- 機器學習程式庫 (MLlib)，提供多種機器學習演算法，您可以套用這些演算法來處理大數據。
- GraphX，允許您使用圖形來視覺化和分析資料。
主要差異：Hadoop 與Spark
Hadoop 和 Spark 允許您以不同的方式處理大數據。
Apache Hadoop 的建立旨在將資料處理委託給多部伺服器，而不是在單一機器上執行工作負載。
而 Apache Spark 是克服 Hadoop 關鍵限制的較新資料處理系統。它能夠處理大型資料集，而 Hadoop 只能批次執行此操作，並且會有很大的延遲。
架構
Hadoop 具有稱為 Hadoop 分散式檔案系統 (HDFS) 的原生檔案系統。HDFS 讓 Hadoop 能夠將大型資料區塊分割成多個較小的一致區塊。然後將小資料區塊存放在伺服器群組中。
同時，Apache Spark 沒有自己的原生檔案系統。許多組織執行 Spark on Hadoop 的檔案系統，來存放、管理和擷取資料。
或者，您也可以使用 Amazon Redshift 或 Amazon Simple Storage Service (Amazon S3)，做為 Spark 的資料儲存選項。
效能
Hadoop 可以批次處理大型資料集，但可能會更慢。為了處理資料，Hadoop 從外部儲存體中讀取資訊，然後分析資料，並將其輸入至軟體演算法。
針對每個資料處理步驟，Hadoop 將資料寫回外部儲存體，從而增加了延遲。因此，它不適合即時處理任務，但非常適合具有可容忍時間延遲的工作負載。例如，Hadoop 適合分析每月銷售記錄。但是，要從社交媒體摘要確定即時品牌情緒，則它可能不是最佳選擇。
另一方面，Apache Spark 的設計旨在即時處理大量資料。
Spark 不會從外部儲存體存取資料，而是在處理資料之前將資料複製到 RAM。它只會在完成特定任務後，才會將資料寫回外部儲存。從 RAM 寫入和讀取，比使用外部磁碟機執行相同操作的速度更快。此外，Spark 重複使用擷取的資料進行大量操作。
因此，在不同程度的簡單和複雜資料處理方面，Spark 的表現比 Hadoop 更好。
機器學習
Apache Spark 提供一個稱為 MLlib 的機器學習程式庫。資料科學家使用 MLlib 執行迴歸分析、分類和其他機器學習任務。此外，您還可以使用非結構化和結構化資料來訓練機器學習模型，並針對商務應用程式部署這些模型。
相較之下，Apache Hadoop 沒有內建的機器學習程式庫。而是可以將 Spark 與 Apache Mahout 之類的其他軟體整合，來建置機器學習系統。軟體的選擇取決於工作負載的特定需求。您可以考慮資料的大小和複雜性、您想要使用的機器學習模型類型，以及應用程式的效能和可擴展性需求等因素。
安全性
Apache Hadoop 的設計具有穩健的安全功能，以保護資料。例如，Hadoop 使用加密和存取控制，來防止未經授權的各方存取和操縱資料儲存。
但是，Apache Spark 本身的安全保護功能有限。根據 Apache Software Foundation 的說法，必須啟用 Spark 的安全性功能，並確保其執行的環境是安全的。
Spark 支援多種部署類型，有些部署類型比其他部署更安全。例如，由於 Hadoop 的加密分散式儲存，因此部署 Spark on Hadoop 可改善整體安全性。
可擴展性
Hadoop 所需的擴展工作比 Spark 更少。如果您需要更多處理能力，能夠以合理的成本在 Hadoop 上新增其他節點或電腦。
相較之下，擴展 Spark 部署通常需要投資更多 RAM。針對內部部署基礎設施，成本可能會快速增加。
費用
Apache Hadoop 的設定和執行更經濟實惠，因為它使用硬碟來存放和處理資料。您可以在標準或低階電腦上設定 Hadoop。
同時，使用 Spark 處理大數據的成本更高，因為它使用 RAM 進行記憶體處理。RAM 通常比具有相同儲存大小的硬碟昂貴。
何時使用 Hadoop 與Spark
克服 Hadoop 外部儲存-存取架構的局限性，推出了 Apache Spark。Apache Spark 取代 Hadoop 的原始資料分析庫 MapReduce，具有更快捷的機器學習處理能力。
不過，Spark 與 Hadoop 並非相互排斥。雖然 Apache Spark 可以做為獨立的架構執行，許多組織仍然同時使用 Hadoop 和 Spark 進行大數據分析。
視乎特定的業務需求，您可以使用 Hadoop、Spark，或同時使用兩者進行資料處理。以下是您在決定時可能會考量的一些事項。
經濟高效地擴展
若要建置和擴展經濟高效的資料處理管道，Apache Hadoop 是更好的選擇。將更多電腦新增至現有的 Hadoop 叢集，能夠增加 Hadoop 的處理能力。這比購買額外的 RAM 來擴展 Apache Spark 架構更經濟實惠。
批次處理
批次處理是指處理大量資料而不受限於規定的時間表。若組織喜好批次處理，可使用 Apache Hadoop，因為它支援跨多個節點的平行處理。例如，您可以使用 Hadoop，從數萬記錄中產生非時間敏感的庫存報告。
即時分析
如果您正在處理快速移動的資料，可使用 Apache Spark。資料串流是軟體持續傳輸的資訊或資料。Apache Spark 可以處理即時資料串流，並即時提供富有洞察力的分析。例如，金融機構使用 Apache Spark 偵測進行中交易出現的詐騙行為，並提醒銀行職員。
機器學習能力
機器學習涉及訓練軟體功能或包含大量資料集的模型。由於 Apache Spark 具有內建的機器學習程式庫，因此更適合這類任務。這意味著 Spark 可以即時訓練機器學習模型，而無需額外的整合。
安全、速度和互動式分析
您可以使用 Hadoop 和 Spark，同時受益於這兩種架構的優勢。Hadoop 提供安全且經濟實惠的分散式處理。如果執行 Spark on Hadoop，您可以將時間敏感的工作負載 (例如圖形分析任務) 轉移到 Spark 的記憶體內資料處理器。您可以針對您的分析，提供高效能和安全的外部儲存處理。
差異摘要：Hadoop 與Spark
| Hadoop |
Spark |
|
| 架構 |
Hadoop 存放並處理外部儲存體上的資料。 |
Spark 存放並處理內部記憶體上的資料。 |
| 效能 |
Hadoop 批次處理資料。 |
Spark 即時處理資料。 |
| 成本 |
Hadoop 經濟實惠。 |
Spark 比較昂貴。 |
| 可擴展性 |
Hadoop 透過新增更多節點來輕鬆擴展。 |
Spark 相對更具挑戰性。 |
| 機器學習 |
Hadoop 與外部程式庫整合以提供機器學習功能。 |
Spark 具有內建的機器學習程式庫。 |
| 安全性 |
Hadoop 具有強大的安全功能、儲存加密和存取控制。 |
Spark 具有基本的安全功能。IT 依賴於您針對 Spark 部署設定安全的作業環境。 |
AWS 如何支援您的大數據工作負載？
Amazon EMR 是一個線上平台，可協助您經濟實惠地建置、部署和擴展大數據解決方案。它支援各種開放原始碼大數據架構，包括 Apache Hadoop 和 Spark。組織將 Amazon EMR 用於 PB 規模的資料處理、互動式分析和機器學習應用程式。
以下是您可透過使用 Amazon EMR 獲益的其他方法：
- Amazon EMR 可自動擴展您的大數據應用程式所需的運算資源
- 在 Amazon EMR 上執行大數據應用程式，其成本不到內部部署基礎設施的一半
- Amazon EMR 允許您將大型資料集存放在 Hadoop 分散式檔案系統 (HDFS) 之外的資料存放區。例如，您可以存放在 Amazon Simple Storage Service (Amazon S3) 和 Amazon DynamoDB 上。
立即建立帳戶，開始使用 Amazon Web Services (AWS) 上的 Hadoop 和 Spark。
