Publicado: May 6, 2024
O Amazon EMR Sem Servidor é uma opção de tecnologia sem servidor do Amazon EMR que simplifica a execução de estruturas de análises de big data de código aberto por engenheiros e cientistas de dados, sem necessidade de configurar, gerenciar e escalar clusters ou servidores. Hoje, temos o prazer de anunciar o monitoramento detalhado da performance dos trabalhos do Apache Spark com o Amazon Managed Service for Prometheus, permitindo analisar, monitorar e otimizar seus trabalhos usando métricas de mecanismo específicas do trabalho e informações sobre cronogramas, estágios, tarefas e executores de eventos do Spark.
O Apache Spark fornece métricas de performance detalhadas para o driver e executores de tarefas como memória de pilha JVM, GC, informações aleatórias, etc. Essas métricas podem ser usadas para solucionar problemas de performance e caracterizar a workload. O Amazon Managed Service for Prometheus é um serviço de monitoramento e alerta seguro, totalmente gerenciado e com tecnologia sem servidor. Com a integração do EMR Sem Servidor com o Amazon Managed Service for Prometheus, agora você pode monitorar essas métricas de performance para várias aplicações/trabalhos em uma única visualização, facilitando o monitoramento dessas métricas por equipes centralizadas para identificar gargalos de performance, tendências históricas, etc.
Esse atributo está disponível nas versões 7.1.0 e posteriores do EMR e nas seguintes regiões da AWS: Leste dos EUA (N. da Virgínia, Ohio), Oeste dos EUA (Oregon), Europa (Estocolmo, Paris, Frankfurt, Irlanda, Londres), América do Sul (São Paulo) e Ásia-Pacífico (Tóquio, Seul, Singapura, Mumbai, Sydney). Para começar a usá-lo, acesse a página Monitor Spark metrics with Amazon Managed Service for Prometheus no Guia do usuário do Amazon EMR Sem Servidor.