El escalado administrado de Amazon EMR ahora reconoce la ubicación del proceso principal de la aplicación
Hoy nos complace anunciar una nueva mejora en el escalado administrado de EMR que mejora la resiliencia de las aplicaciones y escala el clúster en función de la demanda de los ejecutores y de ApplicationMasters al agregar compatibilidad con las etiquetas de nodos YARN. Amazon EMR garantiza de forma predeterminada que los procesos que controlan los trabajos en ejecución y que deben permanecer activos durante todo el ciclo del trabajo (ApplicationMasters) puedan ejecutarse tanto en el nodo principal como en el nodo de tareas. Sin embargo, muchos clientes que utilizan especialmente las instancias de spot para ejecutar nodos de tareas optan por ejecutar ApplicationMasters solo en nodos centrales bajo demanda para garantizar que los trabajos en ejecución no fallen si se interrumpen los procesos principales de la aplicación que se ejecutan en instancias de spot. Con el lanzamiento de hoy, el escalado administrado de EMR escalará los clústeres en función de la demanda de las solicitudes individuales de ApplicationMasters o ejecutores, tal como se definen en las etiquetas de nodos YARN. El escalado inteligente del clúster en función de la demanda de los administradores de equipos o ejecutores permite mejorar el rendimiento y la utilización, y reducir los costos.
Como parte del lanzamiento de hoy, con la versión 7.2 de EMR y posteriores, Amazon EMR también le permitirá especificar expresiones de etiquetas de nodos YARN a nivel de aplicación por tipo de mercado, es decir, bajo demanda o spot. Anteriormente, los clientes solo podían especificar las expresiones de las etiquetas de nodo de YARN por nivel de tipo de nodo, es decir, Core o Task. Ahora, con esta nueva mejora, los clientes tendrán la flexibilidad adicional necesaria para adaptarse mejor a las necesidades de las cargas de trabajo de sus clústeres.
Esta característica está disponible con la versión 7.2 y posteriores de Amazon EMR en todas las regiones de AWS en las que el escalado administrado de Amazon EMR está disponible. Consulte nuestra documentación sobre escalado administrado para obtener más información.