发布于: Jul 8, 2020

Amazon EMR 现在支持托管扩展功能,此新功能可自动调整 EMR 集群的大小以首先最优性能并尽量降低成本,无需您指定任何扩展策略。与固定大小的集群相比,通过为集群设置最低和最高计算资源限制,您最高可以节省 60% 的成本。 

以前,您可以手动扩展集群大小,或者根据 CloudWatch 指标自定义扩展规则,从而利用 EMR 自动扩展功能。但这些方法需要深入理解应用程序的框架和工作负载模式;而 EMR 自动扩展仅支持实例组。EMR 托管扩展功能支持实例组和实例队列。您可以无缝扩展同一个集群中的 Spot 实例、按需实例以及属于 Savings Plan 的实例, 

Amazon EMR 托管扩展功能支持 Amazon EMR 版本 5.30.1 及以上版本上基于 Apache Spark、Apache Hive 和 YARN 的工作负载。您可以在下列 AWS 区域使用此功能:美国东部(弗吉尼亚北部和俄亥俄)、美国西部(俄勒冈和加利福尼亚北部)、南美洲(圣保罗)、欧洲(爱尔兰、伦敦、巴黎、斯德哥尔摩和法兰克福)、加拿大(中部)以及亚太地区(新加坡、悉尼、孟买、东京、首尔和香港)。

开始之前,请参阅以下资源: