如何让火花忽略缺少的输入文件？

Question

我想在包含avro文件的一些生成的S3路径上运行spark工作（spark v1.5.1）。我正在加载它们：

val avros = paths.map(p => sqlContext.read.avro(p)) 

虽然有些路径不存在。我如何能够忽略那些空洞的路径？以前我使用过this answer，但我不确定如何在新的数据帧API中使用它。

注意：我理想的是寻找类似的方法来链接答案，只是使输入路径可选。我不是特别想要在S3中明确检查路径的存在（因为这很麻烦并且可能会使开发变得笨拙），但是如果现在没有干净的方法来实现这一点，我想这就是我的后备。

Answer 1

我会使用scala Try类型来处理在读取avro文件目录时出现故障的可能性。使用'尝试'我们可以使我们的代码中显式失败的可能性，并以功能方式处理：

object Main extends App { 

    import scala.util.{Success, Try} 
    import org.apache.spark.{SparkConf, SparkContext} 
    import com.databricks.spark.avro._ 

    val sc = new SparkContext(new SparkConf().setMaster("local[*]").setAppName("example")) 
    val sqlContext = new org.apache.spark.sql.SQLContext(sc) 

    //the first path exists, the second one doesn't 
    val paths = List("/data/1", "/data/2") 

    //Wrap the attempt to read the paths in a Try, then use collect to filter 
    //and map with a single partial function. 
    val avros = 
    paths 
     .map(p => Try(sqlContext.read.avro(p))) 
     .collect{ 
     case Success(df) => df 
     } 
    //Do whatever you want with your list of dataframes 
    avros.foreach{ df => 
    println(df.collect()) 
    } 
    sc.stop() 
}