2017-10-19 475 views
0

我想在spark上运行查询。我把它们都在我的.sql文件如何使用spark-submit提交包含查询的查询或.sql文件

目前我运行的方式是:

spark-sql --master yarn /home/myuser/query.sql 

但只要在查询完成谈到了火花SQL>内执行... 。shell提示然后作业状态不会更改成功完成它显示RUNNING由于spark-sql>外壳是活动的,所以我必须明确地做CTRL + C才能出来。

所以我基本上只想提交一个spark工作,它实际上是一个使用shell脚本文件的查询,并且不需要进入任何spark特定的shell。

我不想在类文件中编写查询,然后构建一个jar然后提交。

回答

0

刚刚发现,-f选项为我做的工作。

spark-sql --master yarn -f /home/myuser/query.sql