发布于: Apr 1, 2024

我们很高兴推出 EC2 上的 Amazon EMR 的一项新功能,该功能支持顺利地自动替换运行不正常的核心节点,从而确保持续实现最佳集群操作并防止数据丢失。此外,EC2 上的 EMR 将发布 CloudWatch 事件,以提供对节点运行状况和恢复操作的可见性。这些改进适用于所有 Amazon EMR 版本。

利用 EC2 上的 EMR,您可以轻松预置和扩展数据处理集群,而无需管理计算基础设施或开源应用程序设置。但是,在某些情况下,由于潜在的硬件或内存过度使用问题,EMR 节点的运行情况会变得不正常。以前,对于受终止保护的集群,运行不正常的核心节点将保持闲置状态,并继续计入集群容量。对于其他集群,核心节点替换过程并不顺利。通过今天的发布,无论集群的终止保护设置如何,Amazon EMR 都能正常停用和替换运行不正常的核心节点,最大限度地减少任务中断并防止数据丢失。Amazon EMR 还将发布运行不正常的节点替换事件,这些事件将在 EMR 控制台和 Amazon EventBridge 中提供。

运行不正常的核心节点替换功能已在提供 EC2 上的 Amazon EMR 的所有 AWS 区域全面推出。

为确保此次发布不会影响您的现有工作流,对于运行 EMR 7.0.0 及更低版本且启用了终止保护的集群,我们将默认关闭运行不正常的节点替换功能。对于所有其他集群,我们将默认启用此功能。要了解更多信息,请参阅替换运行不正常的节点