如何映射每行获得多输出RDD

Question

给定的输入RDD或形式

1: 6 7 
2: 5 

我怎样才能形式的另一个RDD

1 6 
1 7 
2 5 

等..

Answer 1

如果我假设你的初始输入是在一个文本文件中，那么你可以调用两个这样的地图函数：

data = sc.textFile("textfile_location") 
data = data.map(lambda line: (line.split(":")[0], line.split(":")[1].split())) 
data = data.flatMap(lambda key, values: [(key, value) for value in values]) 

Answer 2

我对RDD的工作原理并不十分清楚，但你说它可以变成dict。所以我们可以说，你有以下字典：

d = {1: [6, 7], 2: [5]} 

而且假设你想写一个信息到一个文件：

1 6 
1 7 
2 5 

这是可以实现如下：

with open('path/to/output', 'w') as outfile: 
    for k in sorted(d): 
     for v in d[k]: 
      outfile.write("{}\t{}\n".format(k, v))