Publicado: Aug 15, 2023
O Amazon EMR Sem Servidor é uma opção que usa tecnologia sem servidor do Amazon EMR para simplificar a execução de estruturas de análises de big data de código aberto por analistas e engenheiros de dados, como Apache Spark e Apache Hive, sem necessidade de configurar, gerenciar e escalar clusters ou servidores. A partir de hoje, você pode especificar configurações de log refinadas para seus logs de driver e executor, simplificando a solução de problemas em seus trabalhos do Apache Spark.
Os desenvolvedores geralmente precisam analisar os logs para obter informações detalhadas sobre seus trabalhos para um monitoramento e uma depuração eficazes. No entanto, as configurações de log padrão do Spark às vezes podem ser muito detalhadas, dificultando a localização de entradas de log relevantes. O Spark usa o Log4j2 para configurar os logs. Com esse atributo, você pode especificar configurações personalizadas do Log4j2 para os logs do driver e do executor do Spark para cada execução de trabalho do EMR Sem Servidor. Por exemplo, você pode definir o nível de log padrão do Spark como “ERROR” para obter logs mínimos para o Spark, o nível de log do seu código como “INFO” para obter logs detalhados do seu código e o nível de log para bibliotecas que você deseja depurar como “DEBUG” para obter logs ainda mais detalhados para elas, permitindo analisar melhor os logs para fornecer informações significativas.
Esse atributo está disponível para as versões de lançamento do EMR 6.8.0 e acima em todas as regiões nas quais o Amazon EMR Sem Servidor é oferecido. Para saber mais, acesse a página Configuring Log4j2 page.