針對成本和規模最佳化 Amazon EMR 叢集

EC2 Spot 執行個體和 Amazon EMR

Amazon EMR 提供受管的 Hadoop 框架，讓您以輕鬆、快速且經濟實惠的方式，在動態可擴展的 Amazon EC2 執行個體之間處理大量資料。您也可以執行其他常用的分散式架構 (例如 EMR 中的 Apache Spark、HBase、Presto 和 Flink)，並與其他 AWS 資料存放區 (例如 Amazon S3 和 Amazon DynamoDB) 中的資料進行互動。EMR Notebooks 以流行的 Jupyter Notebook 為基礎，為臨時查詢和探索分析提供開發和協作環境。EMR 能夠安全可靠地處理各式各樣的大數據使用案例，包括日誌分析、Web 索引、資料轉換 (ETL)、機器學習、財務分析、科學模擬和生物資訊學。

Amazon EC2 Spot 執行個體可提供 AWS 雲端中的備用運算容量，相較於隨需價格折扣更高。當 EC2 需要收回容量時，EC2 可以中斷 Spot 執行個體並隨附兩分鐘的通知。您可以將 Spot 執行個體用於各種容錯和靈活的應用程式。例如分析、容器化工作負載、高效能運算 (HPC)、無狀態 Web 伺服器、渲染、CI/CD，以及其他測試和開發工作負載。

在本教學中，您將了解如何使用「建立叢集」精靈，在 Amazon EC2 Spot 執行個體上啟動您的首個 Amazon EMR 叢集。在 Spot 執行個體上執行 Amazon EMR 可極大降低大數據的成本，顯著提高運算能力，並減少處理大數據集的時間。

關於本教學
時間	10-20 分鐘
費用	免費
使用案例	運算
產品	Amazon EMR、EC2 Spot 執行個體
等級	200
上次更新日期	2020 年 2 月 4 日

步驟 1：使用進階選項建立叢集

1.1 - 開啟瀏覽器並導覽至 Amazon EMR 主控台，或者您可以搜尋 EMR，或在主控台登陸頁面的分析區段下找到 Amazon EMR。如果您已有 AWS 帳戶，請登入主控台。否則，請建立新的 AWS 帳戶來開始使用。

註冊 AWS

已經有帳戶了嗎？登入您的帳戶

1.2 - 在右上角選取您希望啟動 Amazon EMR 叢集的區域。

1.3 - 在 Amazon EMR 視窗中，按一下建立叢集。

1.4 - 在建立叢集視窗中，按一下移至進階選項。

步驟 2：設定叢集軟體和步驟

2.1 - 在軟體組態區段中，選取叢集所需的軟體，或保留預設選項以快速入門。

2.2 - 可選擇輸入任何所需的組態資訊，以便與 AWS Glue 資料型錄，以及設定叢集軟體時您想要使用的任何組態檔案建立連線。

停用選項使用多個主節點來提高叢集可用性，因為該選項與執行個體機群不相容，我們將在後續步驟中對其進行設定。

2.3 - 可選擇設定您想要叢集在佈建後執行的所有步驟，或者略過此步驟，以快速示範如何啟動叢集。

您可以使用 Amazon EMR 步驟，將工作提交至 EMR 叢集上安裝的 Spark 框架。如需詳細資訊，請參閱 Amazon EMR 管理指南中的步驟。在主控台和 CLI 中，使用 Spark 應用程式步驟執行此操作，這會代您執行 spark-submit 指令碼。藉助 API，您可以透過一個步驟來使用 command-runner.jar 叫用 spark-submit。