0
我想在spark上运行查询。我把它们都在我的.sql文件如何使用spark-submit提交包含查询的查询或.sql文件
目前我运行的方式是:
spark-sql --master yarn /home/myuser/query.sql
但只要在查询完成谈到了火花SQL>内执行... 。shell提示然后作业状态不会更改成功完成它显示RUNNING由于spark-sql>外壳是活动的,所以我必须明确地做CTRL + C才能出来。
所以我基本上只想提交一个spark工作,它实际上是一个使用shell脚本文件的查询,并且不需要进入任何spark特定的shell。
我不想在类文件中编写查询,然后构建一个jar然后提交。