¿Cómo puedo configurar el escalamiento automático en Amazon EMR?

Breve descripción

• Versiones de Amazon EMR 5.30.0, 6.1.0 y posteriores: use el escalamiento administrado de Amazon EMR. También puede utilizar el escalamiento automático con una política personalizada para los grupos de instancias.
• Versiones de Amazon EMR 4.0.0-5.29.0 y 6.0.0: use el escalamiento automático con una política personalizada para los grupos de instancias.

Resolución

Versiones de Amazon EMR 5.30.0, 6.1.0 y posteriores

Si utiliza las versiones de Amazon EMR 5.30.0, 6.1.0 o posteriores, tiene dos opciones para el escalamiento automático: activar el escalamiento administrado de Amazon EMR para aumentar o disminuir automáticamente el número de instancias o unidades del clúster en función de la carga de trabajo o utilizar el escalamiento automático con una política personalizada para los grupos de instancias, como se explica en la siguiente sección.

Versiones de Amazon EMR 4.0.0 y posteriores

1. Siga los pasos que se indican en Using automatic scaling with a custom policy for instance groups. Para obtener información sobre las métricas de Amazon CloudWatch que puede utilizar para el escalamiento automático en Amazon EMR, consulte Monitor metrics with CloudWatch. Las siguientes son dos métricas que se utilizan con frecuencia para el escalamiento automático:
   YarnMemoryAvailablePercentage: este es el porcentaje de memoria restante que está disponible para YARN.
   ContainerPendingRatio: esta es la proporción entre contenedores pendientes y contenedores asignados. Puede usar esta métrica para escalar un clúster en función del comportamiento de asignación de contenedores para cargas variadas. Esto es útil para ajustar el rendimiento.
2. Para confirmar que la política de escalamiento está adjunta al grupo de instancias, seleccione Eventos en el panel de navegación.
3. Compruebe si hay eventos de la política de escalamiento automático.

Información relacionada

Scaling cluster resources