PySpark flatMap拼合名单列表

Question

有没有办法使用flatMap拼合列表中的RDD像这样：

rdd = sc.parallelize([[1,2,3],[6,7,8]]) 

rdd.flatMap(lambda r: [[r[0],r[1],r[2],[r[2]+1,r[2]+2]]]).collect() 

我想要的输出：

[[1,2,3,4,5],[6,7,8,9,10]] 

实际输出：

[[1,2,3,[4,5]], [6,7,8,[9,10]]] 

我明白flatMap适当地变平的阵列，且我不困惑，所述一个以上的实际产出，但我想知道是否有办法有效地扁平内部列表。

Answer 1

请修改您的代码如下图所示，以获得所需的输出

rdd.flatMap(lambda r: [[r[0],r[1],r[2],r[2]+1,r[2]+2]]).collect()