Apache™ Hadoop® 是一個開放原始碼軟體專案，可以有效率地處理大型資料集。Hadoop 不使用單一大型電腦來處理和存放資料，而是將商用硬體結合成叢集，以平行方式分析大量資料集。
Hadoop 生態系統提供能滿足您分析工作負載需求的各種應用程式和執行引擎。針對執行 Hadoop 及 Hadoop 生態系統中其他應用程式的 Amazon EC2 執行個體，Amazon EMR 可讓您輕鬆建立和管理這些執行個體完全設定好的彈性叢集。
Hadoop 通常是指實際的 Apache Hadoop 專案，其中包括 MapReduce (執行框架)、YARN (資源管理員) 及 HDFS (分散式儲存)。Amazon EMR 也包含 EMRFS，這是允許 Hadoop 將 Amazon S3 作為儲存層的連接器。
然而，Hadoop 生態系統還提供其他應用程式和框架，包括可啟用低延遲查詢的工具、可進行互動式查詢的 GUI 與各種界面 (如 SQL)，以及分散式 NoSQL 資料庫。Hadoop 生態系統包括許多專門針對在 Hadoop 核心元件上建置其他功能所設計的開放原始碼工具，而您可以使用 Amazon EMR 輕鬆地在叢集上安裝和設定 Hive、Pig、Hue、Ganglia、Oozie 和 HBase 等工具。除了 Amazon EMR 上的 Hadoop 之外，您也可以執行其他框架，如用於記憶體內處理的 Apache Spark 或用於互動式 SQL 的 Presto。
Amazon EMR 以程式設計方式在叢集的節點之間安裝和設定 Hadoop 專案中的應用程式，包括 Hadoop MapReduce、YARN 和 HDFS。您還可以選取其他應用程式 (如 Hive 和 Pig) 進行安裝。
Hadoop MapReduce (Hadoop 中的一個執行引擎) 使用 MapReduce 框架來處理工作負載，它會將任務細分成更小的工作，可分發到 Amazon EMR 叢集中的各個節點。Hadoop MapReduce 引擎的建置原理是預期叢集中的任何特定機器都可能隨時故障，且旨在提供容錯能力。如果執行任務的伺服器故障，Hadoop 會在另一部機器重新執行該任務，直到完成為止。
您可以用 Java 撰寫 MapReduce 程式，也可以使用 Hadoop 串流以平行方式執行自訂指令碼、使用 Hive 和 Pig (如果您選擇在 Amazon EMR 叢集上安裝這些應用程式) 透過 MapReduce 獲得較高層級的抽象，或使用其他工具與 Hadoop 互動。
從 Hadoop 2 開始，資源管理是由 Yet Another Resource Negotiator (YARN) 負責管理。YARN 會追蹤叢集間的所有資源，並確保以動態方式分配這些資源，來完成您所處理的工作中的各項任務。YARN 能夠管理 Hadoop MapReduce 工作負載及其他分散式框架，如 Apache Spark、Apache Tez 等等。
透過在 Amazon EMR 叢集使用 EMR 檔案系統 (EMRFS)，您可以利用 Amazon S3 作為 Hadoop 的資料層。Amazon S3 是高度可擴展、低成本且針對持久性所設計，因此成為大數據處理的絕佳資料存放區。將資料存放在 Amazon S3 即可去耦運算層與儲存層，讓您針對工作負載所需的 CPU 和記憶體的數量來調整 Amazon EMR 叢集的大小，而不是在叢集中建立額外的節點來最大化叢集上的儲存。此外，當 Amazon EMR 叢集閒置時可以終止它以節省成本，同時資料仍保留在 Amazon S3 中。
EMRFS 已針對 Hadoop 進行優化，可透過符合效能的方式直接平行讀取和寫入 Amazon S3，而且可以處理使用 Amazon S3 伺服器端和用戶端加密方法加密的物件。EMRFS 讓您使用 Amazon S3 作為資料湖，而 Amazon EMR 中的 Hadoop 可作為彈性查詢層。
Hadoop 也包含分散式儲存系統，就是 Hadoop 分散式檔案系統 (HDFS)，此系統以大型區塊在叢集的本機磁碟間存放資料。HDFS 有一個可設定的複寫係數 (預設值為 3 倍)，提供增強的可用性和耐久性。HDFS 會在節點故障和加入新節點時監控複寫，並且平衡節點間的資料。
HDFS 會隨 Hadoop 自動安裝在 Amazon EMR 叢集上，而您可以使用 HDFS 搭配 Amazon S3 來存放您的輸入和輸出資料。此外，Amazon EMR 會設定 Hadoop 使用 HDFS 和本機磁碟來存放 Hadoop MapReduce 任務期間建立的中繼資料，即使輸入資料位於 Amazon S3 中也是一樣。
您可以動態且快速初始化新的 Hadoop 叢集，也可以新增伺服器到現有的 Amazon EMR 叢集，以大幅減少將資源提供給使用者和資料科學家的時間。在 AWS 平台上使用 Hadoop 可降低分配資源進行實驗和開發所需的成本和時間，大幅提升組織靈活性。
Hadoop 組態、聯網、伺服器安裝及進行中的管理維護是相當複雜且有挑戰性的活動。Amazon EMR 是一個可解決 Hadoop 基礎設施要求的受管服務，讓您專注於核心業務。
Hadoop 環境除了與 Amazon EMR 整合以外，還可以輕鬆地與其他服務整合，例如，Amazon S3、Amazon Kinesis、Amazon Redshift 及 Amazon DynamoDB，之後即可在 AWS 平台上的許多不同服務間移動資料、建立工作流程及進行分析。
許多 Hadoop 任務都具有流量突增的特性。舉例來說，ETL 任務可能每小時、每天或每月執行，而金融公司或基因定序的模型建立任務可能一年只需發生幾次。在 Amazon EMR 上使用 Hadoop 可讓您輕鬆地運轉這些工作負載叢集、儲存結果，並於不再需要 Hadoop 資源時關閉，以避免不必要的基礎設施費用。
在 Amazon EMR 上使用 Hadoop 之後，您即具有在任何 AWS 區域中任意數量的可用區域 中啟動叢集的彈性。一個區域 (Region) 或區域 (Zone) 中的潛在問題或威脅，只要在最短時間內啟動另一個區域 (Zone) 中的叢集即可輕鬆避免。
部署 Hadoop 環境前先規劃容量，通常會導致昂貴的閒置資源或資源限制。有了 Amazon EMR，您可以分配任意規模的容量，可多可少，並根據需要擴展和縮減，一切只要幾分鐘就能完成。
Hadoop 可用於分析點擊流資料，以便細分使用者並了解使用者的各種偏好。廣告商還可以分析點擊流和廣告的展示次數日誌，以提供更有效率的廣告。
Hadoop 可用於處理 Web 和行動應用程式產生的各種日誌。Hadoop 能協助客戶將數 PB 的非結構化或者半結構化資料轉變為有用的應用程式或使用者見解。
Hadoop 生態系統應用程式 (如 Hive) 允許使用者使用 SQL 界面來利用 Hadoop MapReduce，執行大規模、分散式及容錯資料倉儲的分析。使用 Hadoop 存放您的資料，並允許使用者傳送任何大小的資料查詢。
Hadoop 可快速且有效地處理大量的基因體資料及其他大型科學資料集。AWS 已將 1000 個基因體專案的資料免費公開提供給社群使用。
由於 Hadoop 具備大規模可擴展性和較為低廉的成本，使其非常適合用於常見的 ETL 工作負載，例如收集、排序、加入和彙總大型資料集，便於下游系統使用。
閱讀 Euclid 如何在 Amazon EMR 上將 Hadoop 用於 ETL 和資料彙總 »
Apache 與 Hadoop 是 Apache Software Foundation 的商標。