cron中的spark-submit日程安排

我想在crontab中安排一个pyspark脚本，每运行5分钟。我已经成功地推出了脚本使用此命令手动：cron中的spark-submit日程安排

spark-submit script.py

的问题是相同的命令似乎并没有从crontab中启动时的工作。该日志不显示任何东西任何细节（它们被截短）

*/5 * * * * /path/script.sh

文件script.sh包含：火花提交script.py

请让我知道如果你有关于如何任何想法解决这个问题。

2015-02-24 marlieg

有趣的阅读：调试crontab http://stackoverflow.com/tags/crontab/info。可能有很多不同的原因，请检查一下 – fedorqui 2015-02-24 16:08:44

谢谢你的链接！我做了一些测试，并且crontab似乎适用于执行其他命令。问题在于，由于某些原因，它与spark-submit不兼容。 – marlieg 2015-02-24 16:14:31

你应该把它放在一个bash文件，并在cron运行此：

猛砸文件Your_Script.sh：

#!/bin/bash 
echo "RUNNING JOB" 
/opt/mapr/spark/spark-1.5.2/bin/spark-submit /Path/To/Your_Script.py parama1

所以，你可以很容易地从crantab运行它是这样的：

32 18 * * * /Path/To/Your_Script.sh

2016-02-25 17:42:16

想通过bin提交的路径更改'/ opt/mapr/spark/spark-1.5.2 /'。 – 2016-02-25 17:43:51

回答