如何在 Amazon EMR 中配置自动扩展？
上次更新时间：2020 年 9 月 18 日
我想在 Amazon EMR 集群上使用 Amazon Elastic Compute Cloud (Amazon EC2) Auto Scaling。
简短描述
- Amazon EMR 版本 5.30.0、6.1.0 及更高版本：使用 EMR 托管的扩展。或者，对实例组使用自动扩展和自定义策略。
- Amazon EMR 版本 4.0.0-5.29.0 和 6.0.0：对实例组使用自动扩展和自定义策略。
解决方法
Amazon EMR 版本 5.30.0、6.1.0 及更高版本
如果您使用的是 Amazon EMR 5.30.0、6.1.0 或更高版本，则有两个自动扩展选项：启用 EMR 托管的扩展，以根据工作负载自动增加或减少集群中的实例或设备数量。或者，对实例组使用自动扩展和自定义策略，如以下部分所述。
Amazon EMR 版本 4.0.0 及更高版本
- 按照对实例组使用自动扩展和自定义策略中的步骤执行操作。有关可在 Amazon EMR 中用于自动扩展的 Amazon CloudWatch 指标的信息，请参阅使用 CloudWatch 监控指标。以下是用于自动扩展的两个常用指标：
YarnMemoryAvailablePercentage：这是 YARN 可用的剩余内存百分比。
ContainerPendingRatio：这是待处理容器与分配的容器的比率。使用此指标，您可以根据不同负载的容器分配行为来扩展集群。这对于性能优化非常有用。 - 要确认扩展策略已附加到实例组，请从导航窗格中选择事件。
- 检查自动扩展策略事件。