Publicado en: May 6, 2024
Amazon EMR sin servidor es una opción sin servidor en Amazon EMR que facilita a los ingenieros y los científicos de datos la ejecución de marcos de análisis de macrodatos de código abierto sin la necesidad de configurar, administrar y escalar clústeres o servidores. Hoy nos complace anunciar la supervisión detallada del rendimiento de los trabajos de Apache Spark con Amazon Managed Service para Prometheus, lo que le permite analizar, supervisar y optimizar sus trabajos mediante métricas de motor específicas del trabajo e información sobre los cronogramas, las etapas, las tareas y los ejecutores de los eventos de Spark.
Apache Spark proporciona métricas de rendimiento detalladas para el controlador y los ejecutores para trabajos como la memoria dinámica de JVM, la GC, la información de mezcla, etc. Estas métricas se pueden utilizar para la resolución de problemas de rendimiento y la caracterización de la carga de trabajo. Amazon Managed Service para Prometheus es un servicio de monitoreo y alertas seguro, totalmente administrado y sin servidor. Con la integración de EMR sin servidor con Amazon Managed Service para Prometheus, ahora puede supervisar estas métricas de rendimiento para varias aplicaciones o trabajos en una sola vista, lo que facilita que los equipos centralizados supervisen estas métricas para identificar los cuellos de botella en el rendimiento, las tendencias históricas, etc.
Esta característica está disponible de forma general en las versiones 7.1.0 y posteriores de EMR y en las siguientes regiones de AWS: este de EE. UU. (Norte de Virginia, Ohio), oeste de EE. UU. (Oregón), Europa (Estocolmo, París, Fráncfort, Irlanda, Londres), Sudamérica (São Paulo) y Asia Pacífico (Tokio, Seúl, Singapur, Bombay, Sídney). Para empezar, visite la página de métricas de Monitor Spark con Amazon Managed Service para Prometheus en la Guía del usuario de Amazon EMR sin servidor.