EC2 上的 Amazon EMR 通过智能子网选择改善集群启动体验

发布于: 2024年9月10日

即日起，EC2 上的 Amazon EMR 通过增强的子网选择功能，为实例集集群提供更高的可靠性和集群启动体验。借助此功能，EC2 上的 EMR 可以减少因 IP 地址不足而导致的集群启动失败。

Amazon EMR 是一种云端大数据平台，可以使用 Apache Spark、Apache Hive 和 Presto 等多种开源框架进行数据处理、交互分析和机器学习。以前在选择子网时，EMR 集群仅会考虑核心实例集的可用 IP 地址。Amazon EMR 现在会在集群启动时进行子网筛选，并选择一个具有足够可用 IP 地址的子网来成功启动所有实例集。如果 EMR 找不到具有足够 IP 地址的子网来启动整个集群，它将优先选择至少可以启动核心和主要实例集的子网。在这种情况下，EMR 还会发布 CloudWatch 警告事件来通知用户。如果所配置的子网全部都无法用于配置核心和主要实例集，EMR 会让集群启动失败，并发布一个严重错误事件通知。这些 CloudWatch 事件让您能够监控集群并在必要时采取补救措施。

在所有 EMR 5.12.1 及更高版本中使用分配策略启动 EMR 实例集集群的客户都将受益于这一功能。您无需执行任何其他操作。这项功能已在提供 EC2 上的 Amazon EMR的所有 AWS 区域推出，包括 AWS GovCloud（美国）区域。要了解更多信息，请参阅此处的文档。