0
我正在使用spark-sql来执行大的SQL文件。我想在spark执行之前记录SQL查询,类似于配置单元详细模式。我已经试过spark-sql CLI,其参数为-v
,但仍然不打印SQL查询。如何在spark-sql CLI中打印SQL查询?
spark-sql -v \
<configuration parameters> \
-f abc.sql
蜂巢命令:
hive -v \
<configuration parameters> \
-f abc.sql
有没有,我很想念打印SQL查询其他任何火花配置?
您可以查询存储为一个字符串。那么万一你使用任何记录器,然后记录该字符串there.Something像这样: - String sqlQuery =/* mysqlQuery * /; sparl.sql(的SQLQuery)。 Logger.print(sqlQuery) –
感谢您的建议。我正在使用允许仅运行SQL查询的spark-sql CLI,没有办法访问sparkContext,logger或sparkSession等任何对象。 –