Publicado: Nov 6, 2019
Agora, você pode depurar e monitorar suas tarefas do Apache Spark fazendo login diretamente no Apache Spark History Server usando o Console do EMR.
O Spark History Server é uma extensão da interface de usuário (UI) da Web do Apache Spark. Ele apresenta uma interface visual com informações detalhadas sobre tarefas concluídas e em execução do Spark em um cluster. Você pode mergulhar em métricas específicas da tarefa e informações sobre os estágios do agendador, as tarefas e os executores em execução.
O Amazon EMR agora persiste o Spark History Server junto com o evento e os logs do contêiner fora do cluster e de maneira independente do ciclo de vida dele. Isso permite acessar e usar o Spark History Server igualmente para clusters encerrados e em execução. Além disso, você pode acessar o Spark History Server diretamente do console e não é preciso mais executar as etapas complexas para visualizá-lo como interface da web.
O recurso está disponível ao usar o EMR Versão 5.25 e posterior e está disponível nas regiões Leste dos EUA (Norte da Virgínia e Ohio), Oeste dos EUA (Norte da Califórnia e Oregon), Canadá (Central), UE (Frankfurt, Irlanda e Londres) e Ásia-Pacífico (Mumbai, Seul, Cingapura, Sydney e Tóquio).