2
我有使用YARN的spark 1.1。
我运行它的每个查询都写出了给出INFO StatsReportListener等的状态。 如何禁用它?我正在寻找可以禁用此功能的配置。sparksql:禁用INFO StatsReportListener
感谢您的帮助。
我有使用YARN的spark 1.1。
我运行它的每个查询都写出了给出INFO StatsReportListener等的状态。 如何禁用它?我正在寻找可以禁用此功能的配置。sparksql:禁用INFO StatsReportListener
感谢您的帮助。
例如,可以将日志记录级别设置为WARN。来自官方文档:
Spark使用log4j进行日志记录。您可以通过在conf目录中添加一个log4j.properties文件来配置它。开始的一种方法是复制位于其中的现有log4j.properties.template。
log4j.appender.logfile.File =/TMP/spark.log – user1189851 2014-11-10 16:32:48
追加此行log4.properties在火花conf文件夹的文件:log4j.appender.logfile.File =/TMP/spark.log,追加将日志记录到像这样的临时文件。 – user1189851 2014-11-10 16:33:43