使用cron作业的pyspark自动化

Question

我有一个每两分钟被调用一次的cron作业 此作业的目的是检查新请求并触发一个火花作业。 cron作业 - >调用一个shell脚本 - >调用火花提交

source /etc/hadoop/conf/hadoop-env.sh 
source /etc/spark/conf/spark-env.sh 
spark-submit --executor-memory 2g --num-executors 1 --packages com.databricks:spark-csv_2.10:1.5.0 \ 
            --py-files <some egg files location> \ 
            <python main script> \ 
            <configuration file> <Input Parameters> 

当手动trigered，脚本工作正常，但通过的cron触发时，它进入死锁试图让火花上下文。

任何身体任何人都有我的指针呢？

Answer 1

问题出在Kerberos上。链接有答案 Click Here