无法看到星火GC登录

我提交使用此我的jar文件：无法看到星火GC登录

spark-submit \ 
--class Hello \ 
--master spark://master:7077 \ 
--num-executors 6 \ 
--conf spark.executor.extraJavaOptions="-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+UseCompressedOops" \ 
first.jar

你可以看到，我添加了-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+UseCompressedOops部分作为官方文档中建议。但是，当我在Web UI中查看奴隶的stdout和stderr时，我什么都看不到垃圾收集。

log4j设置是否阻止显示gc日志？我的spark的conf目录中只有log4j.properties.template文件。

有什么不对的建议吗？谢谢。

来源

2016-09-23 Allan Ruin

当您在环境下的Spark UI中查看时，您是否在那里看到这些标志？ –

是的，我可以在环境选项卡中看到这些标志，我也检查了从站中的“out”日志，我可以看到从站正在使用这些标志。所以我真的坚持这一点，整个互联网只包含有关如何使用gc信息来优化火花的帖子... Orz –

你在Spark Executor日志中看到了什么？你看到普通的Spark的东西吗？ –

根据https://databricks.com/blog/2015/05/28/tuning-java-garbage-collection-for-spark-applications.html - GC的日志写入： $SPARK_HOME/work/$app_id/$executor_id/stdout

尝试配置您的火花的应用与设置此页面上的建议，看看它是否工作正常。

来源

2017-07-27 17:41:52 RonK

无法看到星火GC登录

回答

相关问题