通过重新配置实例队列来动态更新正在运行的 EMR 集群

发布于: 2025年2月17日

EC2 上的 Amazon EMR 现在支持实时更新 EMR 实例队列的应用程序配置，无需终止或重启集群。借助这项功能，客户现在可以在正在运行的集群上动态调整应用程序配置，例如 Spark 的执行程序内存、YARN 的资源分配和 HDFS 设置，从而最大限度地减少工作负载中断。这一功能特别适用于根据数据处理和任务性能需求来调整资源分配和微调应用程序，同时确保资源的高效利用。

Amazon EMR 是一种大数据云平台，可以使用 Apache Spark、Apache Flink 和 Trino 等开源框架进行数据处理、交互分析和机器学习。以前，您必须终止并重新启动实例队列集群才能更新配置。该过程会导致停机、运营工作量增加以及工作流程调整延迟。EMR 现在支持重新配置，可以在确保群集稳定性和资源可用性的同时，逐步将更新后的配置动态应用到群集节点上。它通过 Amazon CloudWatch 和 EMR 事件向客户提供通知。如果出现故障或存在不兼容的更新，EMR 会回滚更改以确保集群保持运行状态。在更新过程中，您可以继续在集群上运行工作负载。

您可以通过 AWS CLI 或 API 在所有 EMR 5.21 及更高版本中使用这项功能。这项功能已在提供 EC2 上的 Amazon EMR 的所有 AWS 区域推出，包括 AWS GovCloud（美国）区域。要了解更多信息，请参阅此处的文档。