如何在 Amazon EMR 中配置自动扩展?

上次更新时间:2020 年 9 月 18 日

我想在 Amazon EMR 集群上使用 Amazon Elastic Compute Cloud (Amazon EC2) Auto Scaling。

简短描述

  • Amazon EMR 版本 5.30.0、6.1.0 及更高版本:使用 EMR 托管的扩展。或者,对实例组使用自动扩展和自定义策略。
  • Amazon EMR 版本 4.0.0-5.29.0 和 6.0.0:对实例组使用自动扩展和自定义策略。

解决方法

Amazon EMR 版本 5.30.0、6.1.0 及更高版本

如果您使用的是 Amazon EMR 5.30.0、6.1.0 或更高版本,则有两个自动扩展选项:启用 EMR 托管的扩展,以根据工作负载自动增加或减少集群中的实例或设备数量。或者,对实例组使用自动扩展和自定义策略,如以下部分所述。

Amazon EMR 版本 4.0.0 及更高版本

  1. 按照对实例组使用自动扩展和自定义策略中的步骤执行操作。有关可在 Amazon EMR 中用于自动扩展的 Amazon CloudWatch 指标的信息,请参阅使用 CloudWatch 监控指标。以下是用于自动扩展的两个常用指标:
    YarnMemoryAvailablePercentage:这是 YARN 可用的剩余内存百分比。
    ContainerPendingRatio:这是待处理容器与分配的容器的比率。使用此指标,您可以根据不同负载的容器分配行为来扩展集群。这对于性能优化非常有用。
  2. 要确认扩展策略已附加到实例组,请从导航窗格中选择事件
  3. 检查自动扩展策略事件

这篇文章对您有帮助吗?


您是否需要账单或技术支持?