如何合并RDD中的阵列

Question

我是Spark的新手。我有以下RDD [数组[（字符串，字符串，字符串）]]

val r1 = sc.parallelize(Array(Array(("123","456","789"),("AAA","BBB","CCC")),Array(("DDD","EEE","FFF"),("E1","E2","E3")))) 

我想合并数组中它像

Array((123,456,789), (AAA,BBB,CCC), (DDD,EEE,FFF), (E1,E2,E3)) 

我可以r1.reduce(_ ++ _)做到这一点。但是，我想使用转换函数，如map，而不是Actions。有可能这样做吗？我正在使用Spark 1.3.1。

谢谢

Answer 1

你可以这样做：

val res: RDD[(String, String, String)] = r1.flatMap(identity)