張貼日期: Jun 25, 2020

Amazon EMR 現在開始提供「容量優化」分配策略,可在 Amazon EMR 叢集中佈建 Spot 執行個體。「容量優化」分配策略可自動以最有效率的方式使用可用的備用容量,同時仍提供 Spot 執行個體的大幅折扣。容量優化策略可減少中斷發生的可能性,進而降低工作負載的整體成本。 

「容量優化」分配策略使用即時容量資料來分配出自 Spot 執行個體集區的執行個體,成為具有依照所啟動執行個體數量而定的最佳容量。此分配策略適合中斷成本較高的工作負載。範例包括執行 Apache Spark、Apache Hive 和 Presto,長時間運作的任務和多租用戶的持久性叢集。 

此分配策略選項也可讓您在以執行個體叢集組態建立叢集時,為每個任務節點指定多達五種 EC2 執行個體類型。如此可讓您達到 Spot 請求的多元化,繼而享有大幅折扣。 

Amazon EMR 有數項增強功能可為客戶增進彈性和靈活度,包括將 Amazon EMR 叢集上執行 Apache SparkApache Hadoop 應用程式的 Amazon EC2 Spot 執行個體順暢地解除委任。為防止資料損失,Amazon EMR 擴展能確保您的節點並無執行中的 Apache Hadoop 任務或唯一的資料有在移除節點之前損失的可能。Amazon EMR 有開放原始碼 Spark 的自訂功能,因此對於節點損失更加靈活,包括與 YARN 的解除委任機制整合、擴展 Spark 的解除委任機制,和對所解除委任節點的操作。 

請參閱文件以了解如何設定執行個體叢集、如何建立 Amazon EMR 的服務角色 (EMR 角色) 和 API 規格。 

Amazon EMR 對分配策略的支援,現在於 Amazon EMR 可用的所有商業 AWS 區域透過 EMR 5.12.1 和更高的發布版本普遍提供。點此連結可查看整體 Amazon EMR 的區域供應狀況。