Publicado en: Mar 12, 2024
Amazon EMR sin servidor es una opción sin servidor que facilita a los ingenieros y los analistas de datos la ejecución de marcos de análisis de macrodatos de código abierto sin la necesidad de configurar, administrar o escalar clústeres ni servidores.
Nos complace anunciar el lanzamiento de las métricas por proceso de trabajo en Amazon CloudWatch para Amazon EMR sin servidor. Ahora puede supervisar el seguimiento de las métricas de uso y asignación de CPU virtuales, memoria, almacenamiento efímero y E/S de disco a nivel combinado de procesos de trabajo de Apache Spark y Hive. Estas nuevas métricas proporcionan información detallada sobre el rendimiento del trabajo, el rendimiento y la utilización de los recursos. Esto le permite identificar las causas principales de los errores comunes y los cuellos de botella con mayor rapidez, analizar el rendimiento combinado de los procesos de trabajo y ajustar sus trabajos para mejorar la eficiencia. Por ejemplo, la infrautilización de las CPU virtuales o la memoria puede revelar un desperdicio de recursos, lo que le permite optimizar el tamaño de los procesos de trabajo para lograr posibles ahorros de costos. Del mismo modo, el seguimiento de los picos en el uso del almacenamiento efímero puede ayudar a identificar y mitigar los cuellos de botella en los discos al asignar más almacenamiento por proceso de trabajo. Para empezar, implemente el panel provisto en el repositorio de Git emr-serverless-samples en su cuenta.
Para obtener más información sobre estas métricas, visite la página de monitoreo a nivel de proceso de trabajo de la tarea en la Guía del usuario de EMR sin servidor.