发布于: Aug 15, 2023
Amazon EMR Serverless 是 Amazon EMR 的无服务器选项，可让数据分析师和工程师轻松运行 Apache Spark 和 Apache Hive 等开源大数据分析框架，而无需配置、管理和扩展集群或服务器。自即日起，您可以为驱动程序和执行器日志指定精细日志配置，从而轻松地对 Apache Spark 作业进行故障排除。
开发人员通常需要分析日志来获取有关其工作的深入见解，从而进行有效的监控和调试。但是，Spark 的默认日志设置有时可能过于繁琐，因此很难找到相关的日志条目。Spark 使用 Log4j2 来配置日志。借助这一功能，您可以在每次 EMR Serverless 作业运行中为 Spark 驱动程序和执行器日志指定自定义 Log4j2 设置。例如，您可以将 Spark 的默认日志级别设置为“ERROR”以获取 Spark 的最少日志，将代码的日志级别设置为“INFO”以获取代码的详细日志，将要调试的库的日志级别设置为“DEBUG”以获取更详细的相关日志，这让您可以更好地分析日志，从而提供有意义的见解。
此功能适用于 EMR 的发行版本 6.8.0 及以上版本，已在提供 Amazon EMR Serverless 的所有区域推出。 要了解更多信息，请访问配置 Log4j2 页面。