将生成的Rdd转换为HashMap

Question

我需要将rdd转换为hashMap。我有在RDD数据象下面这样：

（水果，列表（苹果，香蕉，芒果））（蔬菜，列表（马铃薯，番茄））

我有低于当前代码

object JsonParse { 

def main(args: Array[String]){ 


val sc = new SparkContext(new SparkConf().setAppName("JsonParse").setMaster("local")) 

val arr = Array(("FRUIT",List("Apple","Banana","Mango")),("VEGETABLE", List("Potato","Tomato"))) 

val Rdd = sc.parallelize(arr) 

如何继续？

Answer 1

尝试

rdd.collect.toMap 

将其转换为一个Map。 Action collect将rdd的内容本地收集到主节点。

Answer 2

rdd.collectAsMap() // Map(VEGETABLE -> List(Potato, Tomato), FRUIT -> List(Apple, Banana, Mango))