Publicado en: Nov 6, 2019
Ahora puede depurar y monitorizar sus trabajos de Apache Spark iniciando sesión directamente en el servidor de historial persistente de Apache Spark fuera del clúster mediante la consola de EMR.
El servidor de historial de Spark es una extensión de la interfaz de usuario (UI) web de Apache Spark. Presenta una interfaz visual con información detallada sobre los trabajos de Spark completados y en ejecución en un clúster. Puede profundizar en métricas específicas del trabajo e información sobre etapas del programador, tareas y ejecutores en curso.
Ahora, Amazon EMR persiste en el servidor de historial de Spark junto con los registros de eventos y de contenedores fuera del clúster e independientemente del ciclo de vida del clúster. Esto le permite acceder y usar el servidor de historial de Spark para clústeres terminados y en ejecución por igual. Además, puede acceder al servidor de historial de Spark directamente desde la consola y ya no necesita ejecutar pasos complejos para verlo como una interfaz web.
Esta característica está disponible cuando se utiliza la versión 5.25 de EMR y posterior, y está disponible en las regiones: EE. UU. Este (Norte de Virginia y Ohio), EE. UU. Oeste (Norte de California y Oregón), Canadá (Central), UE (Fráncfort, Irlanda y Londres) y Asia Pacífico (Mumbai, Seúl, Singapur, Sídney y Tokio).