Publicado: Jun 13, 2023
Temos o prazer de anunciar a capacidade de controlar a rotação de logs de contêineres ao executar trabalhos do Apache Spark no EMR no EKS. O Amazon EMR no EKS permite aos clientes executar estruturas de big data de código aberto, como o Apache Spark, no Amazon EKS. Agora, os clientes podem ativar a rotação de logs de contêineres para evitar que o excesso de arquivos de log afete a execução do pod.
Em trabalhos de longa duração do Spark, como o streaming do Spark, os clientes podem se deparar com problemas de pouco espaço em disco que podem causar degradação da performance ou falha no trabalho e podem ser forçados a excluir manualmente os logs dos pods do Kubernetes. Com essa versão, os clientes agora podem ativar a rotação de logs de contêineres e personalizar quantos arquivos de log serão mantidos nos pods de driver/executor do Spark, incluindo a configuração do tamanho máximo de cada arquivo de log.
Para saber mais sobre a rotação de logs de contêineres, acesse a seção Container Log Rotation da nossa documentação. A rotação de logs de contêineres do Apache Spark é compatível com o Amazon EMR no EKS versão 6.11 e superior, e está disponível nas regiões nas quais o Amazon EMR no EKS é oferecido atualmente.