如何在 Amazon EMR 中配置自动扩展?
上次更新时间:2020 年 9 月 18 日
我想在 Amazon EMR 集群上使用 Amazon Elastic Compute Cloud (Amazon EC2) Auto Scaling。
简短描述
- Amazon EMR 版本 5.30.0、6.1.0 及更高版本:使用 EMR 托管的扩展。或者,对实例组使用自动扩展和自定义策略。
- Amazon EMR 版本 4.0.0-5.29.0 和 6.0.0:对实例组使用自动扩展和自定义策略。
解决方法
Amazon EMR 版本 5.30.0、6.1.0 及更高版本
如果您使用的是 Amazon EMR 5.30.0、6.1.0 或更高版本,则有两个自动扩展选项:启用 EMR 托管的扩展,以根据工作负载自动增加或减少集群中的实例或设备数量。或者,对实例组使用自动扩展和自定义策略,如以下部分所述。
Amazon EMR 版本 4.0.0 及更高版本
- 按照对实例组使用自动扩展和自定义策略中的步骤执行操作。有关可在 Amazon EMR 中用于自动扩展的 Amazon CloudWatch 指标的信息,请参阅使用 CloudWatch 监控指标。以下是用于自动扩展的两个常用指标:
YarnMemoryAvailablePercentage:这是 YARN 可用的剩余内存百分比。
ContainerPendingRatio:这是待处理容器与分配的容器的比率。使用此指标,您可以根据不同负载的容器分配行为来扩展集群。这对于性能优化非常有用。 - 要确认扩展策略已附加到实例组,请从导航窗格中选择事件。
- 检查自动扩展策略事件。