spark-submit：打开'递归'（Spark版本2.0.2）

Question

我试图指定一个目录作为参数 - 文件在​​。该作业失败消息：

org.apache.spark.SparkException: Added file file:[directory path] is a directory and recursive is not turned on. 

中没有任何spark-submit --help有关指定递归，和周围的Googling没有表现出它的。任何人都知道这个？

Answer 1

这与SPARK-16408有关。错误发生在this line，因为spark-submit在默认情况下调用addFile，递归设置为false。

作为一种变通方法，你应该分别指定每个文件或在运行时用递归设置您SparkContext对象调用addFile真

sc.addFile(path = ..., recursive = true)