发布于: Dec 15, 2023

我们很高兴地宣布,EC2 集群上的高可用性 EMR 现在也支持实例队列配置。您的高可用性实例队列 EMR 集群将有三个按需主节点,并支持 Hadoop 应用程序,例如 YARN Resource Manager、HDFS Name Node 和 Spark。如果主节点出现故障或关键进程(例如 Yarn Resource Manager 和 NameNode)崩溃,EMR 会故障转移到集群中剩余的主节点之一。

Amazon EMR 是一种云端大数据平台,可以使用 Apache Spark、Presto、Trino 和 Apache Flink 等多种开源框架进行数据处理、交互式分析和机器学习。由于支持多个主节点,EMR 消除了集群出现单点故障的可能性。这提高了容错能力,使集群能够不间断地运行。此次发布后,您可以通过高可用性 EMR 集群获得改进的实例队列配置的实例多样性。

客户现在可以使用 Amazon EMR 版本 5.36.1、6.8.1、6.9.1、6.10.1、6.11.1、6.12 及更高版本启动高可用性实例队列集群。此功能已在提供 EC2 上的 Amazon EMR 的所有区域推出。要了解有关支持的应用程序及其故障转移过程的更多信息,请参阅我们的文档。要在 EC2 集群上启动高可用性 EMR,请访问规划和配置主节点页面。