Publicado en: Apr 1, 2024
Nos complace presentar una nueva característica de Amazon EMR en EC2 que permite la sustitución automática y correcta de los nodos principales en mal estado para garantizar la continuidad de las operaciones óptimas de los clústeres y evitar la pérdida de datos. Además, EMR en EC2 publicará eventos de CloudWatch para proporcionar visibilidad sobre el estado de los nodos y las acciones de recuperación. Estas mejoras están disponibles para todas las versiones de Amazon EMR.
Con EMR en EC2, puede aprovisionar y escalar fácilmente sus clústeres de procesamiento de datos sin tener que administrar la infraestructura informática o la configuración de aplicaciones de código abierto. Sin embargo, puede haber circunstancias en las que un nodo de EMR no esté en buen estado debido a un problema subyacente de sobreutilización de hardware o memoria. Anteriormente, en el caso de los clústeres protegidos por terminación, los nodos principales en mal estado permanecían inactivos y continuaban contando para la capacidad del clúster. Para otros clústeres, el proceso de reemplazo del nodo principal no fue correcto. Con el lanzamiento de hoy, Amazon EMR minimiza la interrupción del trabajo y evita la pérdida de datos al desmantelar y reemplazar correctamente los nodos principales en mal estado, independientemente de la configuración de protección de terminaciones del clúster. Amazon EMR también publicará los eventos de reemplazo de nodos en mal estado que estarán disponibles en la consola de EMR y en Amazon EventBridge.
La sustitución correcta de nodos principales en mal estado suele estar disponible en todas las regiones de AWS en las que está disponible Amazon EMR en EC2.
Para garantizar que este lanzamiento no afecte a sus flujos de trabajo actuales, desactivaremos de forma predeterminada el reemplazo de nodos en mal estado para los clústeres que ejecuten EMR 7.0.0 y versiones anteriores que tengan habilitada la protección de terminación. Para todos los demás clústeres, activaremos esta característica de forma predeterminada. Para obtener más información, consulte Cómo reemplazar los nodos en mal estado.