Publicado: Mar 12, 2024
O Amazon EMR Sem Servidor é uma opção que usa tecnologia sem servidor para simplificar a execução de estruturas de análises de big data de código aberto por analistas e engenheiros de dados, sem necessidade de configurar, gerenciar e escalar clusters ou servidores.
Temos o prazer de anunciar o lançamento de métricas de trabalhadores no Amazon CloudWatch para Amazon EMR Sem Servidor. Agora você pode monitorar o rastreamento de vCPUs, memória, armazenamento efêmero e alocação de E/S de disco e métricas de uso em um nível de trabalhador agregado para seus trabalhos do Apache Spark e do Hive. Essas novas métricas fornecem informações granulares sobre performance no trabalho, throughput e utilização de recursos. Isso permite identificar as causas principais de erros e gargalos comuns com mais rapidez, analisar a performance agregada dos trabalhadores e ajustar seus trabalhos para melhorar a eficiência. Por exemplo, a subutilização de vCPUs ou memória pode revelar desperdício de recursos, permitindo otimizar os tamanhos dos trabalhadores para obter possíveis economias de custos. Da mesma forma, rastrear picos no uso de armazenamento efêmero pode ajudar a identificar e mitigar gargalos de disco ao alocar mais armazenamento por trabalhador. Para começar a usá-las, implante o painel fornecido no repositório Git emr-serverless-samples em sua conta.
Para obter mais informações sobre essas métricas, acesse a página de monitoramento em nível de trabalhador no Guia do usuário do EMR Sem Servidor.