发布于: Jun 13, 2023
我们很高兴地宣布，在 EKS 上的 EMR 中运行 Apache Spark 作业时，客户能够控制容器日志轮换。EKS 上的 Amazon EMR 使客户能够运行开源大数据框架，如 Amazon EKS 上的 Apache Spark。客户现在可以启用容器日志轮换，以避免过多的日志文件影响容器组 (pod) 的执行。
对于长期运行的 Spark 作业，例如 Spark 流式传输，客户可能会遇到磁盘空间不足的问题。这可能会导致性能下降或作业失败，并可能导致客户被迫从 Kubernetes 容器组 (pod) 手动删除日志。借助此次发布，客户现在可以启用容器日志轮换，还可以自定义要在 Spark 驱动程序/执行程序容器组 (pod) 中保留多少日志文件，包括设置每个日志文件的最大大小。