透過重新組態執行個體機群，動態更新正在執行的 EMR 叢集

張貼日期: 2025年2月17日

EC2 上的 Amazon EMR 現在支援即時更新 EMR 執行個體機群的應用程式組態，而不需要叢集終止或重新啟動。使用此功能，客戶現在可以在執行中的叢集上動態調整應用程式組態，例如 Spark 的執行器記憶體、YARN 的資源配置以及無縫地進行 HDFS 設定，從而將工作負載中斷降到最低。這對於調整資源配置並微調應用程式，以符合資料處理和工作效能需求，同時確保最佳資源使用率特別有用。

Amazon EMR 是雲端大數據平台，用於使用開放原始碼架構 (如 Apache Spark、Apache Flink 及 Trino) 來進行資料處理、互動式分析及機器學習。之前，您必須使用新組態終止並重新啟動執行個體機群叢集。這個流程會導致停機時間、增加營運工作量和延遲工作流程調整。在支援重新組態的情況下，EMR 會動態地在叢集節點上以滾動方式套用更新的組態，同時確保叢集穩定性和資源可用性。它透過 Amazon CloudWatch 和 EMR 事件向客戶提供通知。如果發生故障或不相容的更新，EMR 會回復變更，以確保叢集維持運作。您可以在更新程序期間繼續在叢集上執行工作負載。

您可以使用 AWS CLI 或 API，在所有 EMR 5.21 及更新版本中利用此功能。這項功能已於所有 AWS 區域推出，包括提供 EC2 上 Amazon EMR 的 AWS GovCloud (美國) 區域。若要進一步了解，請參閱此處的文件。