传递列表到sc.text文件-scala-

Question

我正在寻找如何将路径列表传递到sc.textFile（在斯卡拉），而不使用foreach。

例子：

myList :Seq[String] = ArrayBuffer (path1, path2, path3)

有没有办法做到：

var data = sc.textFile(myList)

Answer 1

尝试

var data = sc.textFile(myList.mkstring(",")) 

或者，我们可以看到每一个文本文件，然后union所结果的rdds：

import scala.util.{Try, Success} 

val rdds = myList.flatMap { f => 
    Try(sc.textFile(f)) match { 
    case Success(rdd) => Some(rdd) 
    case _ => None 
    } 
} 
val rdd = sc.union(rdds)