Publié le: Jun 13, 2023
Nous sommes ravis d'annoncer la possibilité de contrôler la rotation des journaux de conteneurs lors de l'exécution de tâches Apache Spark dans EMR sur EKS. Amazon EMR sur EKS permet aux clients d'exécuter des frameworks de big data open-source, tels qu'Apache Spark sur Amazon EKS. Les clients ont désormais la possibilité d'activer la rotation des journaux de conteneurs pour éviter que des fichiers journaux en excès n'affectent l'exécution des pods.
Pour les tâches Spark de longue durée, telles que le streaming Spark, les clients peuvent rencontrer des problèmes d'espace disque susceptibles d'entraîner une dégradation des performances ou l'échec des tâches. Les clients peuvent alors être contraints de supprimer manuellement les journaux des pods Kubernetes. Avec cette version, les clients peuvent désormais activer la rotation des journaux de conteneurs et personnaliser le nombre de fichiers journaux à conserver dans les pods pilotes ou exécuteurs de Spark, notamment en définissant la taille maximale de chaque fichier journal.
Pour en savoir plus sur la rotation des journaux de conteneurs, veuillez consulter la section Rotation des journaux de conteneurs de notre documentation. La rotation des journaux de conteneurs pour Apache Spark est prise en charge sur Amazon EMR sur les versions 6.11 et ultérieures, et est disponible dans les régions où Amazon EMR sur EKS est actuellement disponible.