2017-09-27 367 views
0

我正在使用spark-sql来执行大的SQL文件。我想在spark执行之前记录SQL查询,类似于配置单元详细模式。我已经试过spark-sql CLI,其参数为-v,但仍然不打印SQL查询。如何在spark-sql CLI中打印SQL查询?

spark-sql -v \ 
<configuration parameters> \ 
-f abc.sql 

蜂巢命令:

hive -v \ 
<configuration parameters> \ 
-f abc.sql 

有没有,我很想念打印SQL查询其他任何火花配置?

+0

您可以查询存储为一个字符串。那么万一你使用任何记录器,然后记录该字符串there.Something像这样: - String sqlQuery =/* mysqlQuery * /; sparl.sql(的SQLQuery)。 Logger.print(sqlQuery) –

+0

感谢您的建议。我正在使用允许仅运行SQL查询的spark-sql CLI,没有办法访问sparkContext,logger或sparkSession等任何对象。 –

回答

0

spark-sql详细模式是--v而配置单元详细模式是-v
以下命令适用于我 -

spark-sql --v \ 
<configuration parameters> \ 
-f abc.sql