張貼日期: Jun 25, 2020
Amazon EMR 現在開始提供「容量優化」分配策略,可在 Amazon EMR 叢集中佈建 Spot 執行個體。「容量優化」分配策略可自動以最有效率的方式使用可用的備用容量,同時仍提供 Spot 執行個體的大幅折扣。容量優化策略可減少中斷發生的可能性,進而降低工作負載的整體成本。
「容量優化」分配策略使用即時容量資料來分配出自 Spot 執行個體集區的執行個體,成為具有依照所啟動執行個體數量而定的最佳容量。此分配策略適合中斷成本較高的工作負載。範例包括執行 Apache Spark、Apache Hive 和 Presto,長時間運作的任務和多租用戶的持久性叢集。
此分配策略選項也可讓您在以執行個體叢集組態建立叢集時,為每個任務節點指定多達五種 EC2 執行個體類型。如此可讓您達到 Spot 請求的多元化,繼而享有大幅折扣。
Amazon EMR 有數項增強功能可為客戶增進彈性和靈活度,包括將 Amazon EMR 叢集上執行 Apache Spark 和 Apache Hadoop 應用程式的 Amazon EC2 Spot 執行個體順暢地解除委任。為防止資料損失,Amazon EMR 擴展能確保您的節點並無執行中的 Apache Hadoop 任務或唯一的資料有在移除節點之前損失的可能。Amazon EMR 有開放原始碼 Spark 的自訂功能,因此對於節點損失更加靈活,包括與 YARN 的解除委任機制整合、擴展 Spark 的解除委任機制,和對所解除委任節點的操作。
請參閱文件以了解如何設定執行個體叢集、如何建立 Amazon EMR 的服務角色 (EMR 角色) 和 API 規格。
Amazon EMR 對分配策略的支援,現在於 Amazon EMR 可用的所有商業 AWS 區域透過 EMR 5.12.1 和更高的發布版本普遍提供。點此連結可查看整體 Amazon EMR 的區域供應狀況。