Publicado: Jun 15, 2020
Agora, o Amazon EMR persiste o servidor de linha do tempo YARN e a interface do usuário (IU) junto com os logs de eventos e contêineres fora do cluster. Já é possível depurar e monitorar suas aplicações YARN independente do ciclo de vida do cluster registrando em log diretamente nas interfaces da Web com o console do EMR. O servidor de linha do tempo YARN e a IU do Tez são aplicações de código aberto que fornecem métricas e ferramentas visuais para clusters ativos e encerrados.
A depuração de aplicações distribuídas exige interpretação por meio de logs obtidos de várias fontes. O YARN (programador de recursos) nativo, o Tez (estrutura de trabalho de big data) e o Spark (mecanismo de analítica de dados) melhoram a experiência sobrepondo os logs ao contexto da execução e apresentando uma IU intuitiva. No entanto, é necessário passar por várias etapas conectando o nó principal para visualizar as interfaces Web em seu cluster do EMR por motivos de segurança. Além do mais, se você estiver executando um cluster temporário, a IU não estará disponível quando o cluster for encerrado. O Amazon EMR simplifica a depuração e o monitoramento introduzindo o servidor de histórico persistente Spark, o servidor de linha do tempo YARN e a IU do Tez acessíveis diretamente do console do EMR.
Para começar a usar o servidor de linha do tempo YARN e a IU do Tez, acesse o Console de Gerenciamento da AWS.
O recurso está disponível no EMR versão 6.0.0 e posterior nas regiões Leste dos EUA (Norte da Virgínia e Ohio), Oeste dos EUA (Norte da Califórnia e Oregon), Canadá (Central), UE (Frankfurt, Irlanda e Londres) e Ásia-Pacífico (Mumbai, Seul, Singapura, Sydney e Tóquio).