Spark应用程序log4j日志文件未创建

Question

我正在运行一个spark应用程序。我的应用程序有一些日志语句。

我想将日志作为文件存储在Linux目录中。

下面是我的log4j文件

当我运行火花的工作，它就会被启动并成功完成，但日志不会被保存为文件，我看到一个目录的日志被创建内部/家/ Cloudera的。但我没有看到omega.log创建

log4j.properties

# Set everything to be logged to the console 
log4j.rootCategory=INFO, console, file 
log4j.appender.console=org.apache.log4j.ConsoleAppender 
log4j.appender.console.target=System.err 
log4j.appender.console.layout=org.apache.log4j.PatternLayout 
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n 


# Direct log messages to a log file 
log4j.appender.file=org.apache.log4j.RollingFileAppender 
log4j.appender.file.File=/home/cloudera/logs/omega.log 
log4j.appender.file.MaxFileSize=10MB 
log4j.appender.file.MaxBackupIndex=10 
log4j.appender.file.layout=org.apache.log4j.PatternLayout 
log4j.appender.file.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n 

有人能帮助我在这个问题上？

Answer 1

你需要确保的/ home/Cloudera公司/日志中的每个节点存在，那么尝试添加下一个属性火花提交CMD

spark-submit 
    --master yarn-cluster 
    --files /path/to/log4j-spark.properties 
    --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j-spark.properties" 
    --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j-spark.properties" 
    ...