Actualice dinámicamente su clúster de EMR en ejecución con la reconfiguración de las flotas de instancias
Amazon EMR en EC2 ahora admite la actualización en tiempo real de las configuraciones de las aplicaciones para las flotas de instancias de EMR sin necesidad de terminar o reiniciar el clúster. Con esta característica, los clientes ahora pueden ajustar dinámicamente las configuraciones de las aplicaciones, como la memoria de ejecución de Spark, la asignación de recursos de YARN y la configuración de HDFS sin problemas, en un clúster en ejecución, lo que minimiza las interrupciones en sus cargas de trabajo. Esto es particularmente útil para ajustar la asignación de recursos y refinar las aplicaciones para que coincidan con los requisitos de procesamiento de datos y desempeño laboral, al tiempo que se garantiza una utilización óptima de los recursos.
Amazon EMR es la plataforma de big data en la nube destinada al procesamiento de datos, análisis interactivo y machine learning, mediante el uso de herramientas de código abierto, como Apache Spark, Apache Flink y Trino. Antes, tenía que terminar y volver a lanzar los clústeres de flotas de instancias con configuraciones nuevas. Este proceso provocó tiempos de inactividad, un mayor esfuerzo operativo y retrasos en los ajustes del flujo de trabajo. Gracias a la compatibilidad con la reconfiguración, EMR aplica dinámicamente las configuraciones actualizadas en los nodos del clúster de forma continua, a la vez que garantiza la estabilidad del clúster y la disponibilidad de los recursos. Proporciona notificaciones a los clientes a través de eventos de Amazon CloudWatch y EMR. En caso de que se produzca un error o una actualización incompatible, EMR anula los cambios para garantizar que el clúster siga funcionando. Puede seguir ejecutando cargas de trabajo en el clúster durante el proceso de actualización.
Puede aprovechar esta característica en todas las versiones de EMR 5.21 y posteriores mediante la CLI o la API de AWS. Esta capacidad está disponible en todas las regiones de AWS, incluidas las regiones de AWS GovCloud (EE. UU.), donde se ofrece Amazon EMR en EC2. Para obtener más información, consulte la documentación aquí.