压扁RDD

Question

的名单我有RDD个集合：

val rddList = scala.collection.mutable.ListBuffer[RDD[Data]]() 

包含多个RDD S上的同种Data的，但在使用不同来源的创建。我需要将这些RDD组合成一个单一的RDD。

如果我做了一个rddList.flatten，然后带领元素将达到我想要的？

Answer 1

您需要减少然后合并以从RDD列表中创建单个RDD。下面是一个简单的例子。

val r1 = spark.sparkContext.parallelize(1 to 5) 
val r2 = spark.sparkContext.parallelize(5 to 10) 
val r3 = spark.sparkContext.parallelize(10 to 15) 

    val list = ListBuffer(r1,r2,r3) 

    list.reduce(_ union _).collect().foreach(println) 

希望这有助于！