创建每一行的每个项目于火花数据帧

Question

用户I有一个火花数据帧象下面这样：

User Item Purchased 
1 A 1 
1 B 2 
2 A 3 
2 C 4 
3 A 3 
3 B 2 
3 D 6 

only showing top 5 rows 

每个用户具有用于他们所购买的项目的行。假设Purhcased是多少数量。购买（计数）。

但是，有些用户可能没有购买的项目，因此对于该项目，该特定用户没有一行。我们只有用于购买用户的物品的行。所以如果用户1已经购买了物品A，B，那么对于这两个物品，我们有2行用于用户1。但是，如果用户2购买了A，C，那么用户2拥有行A和C，但没有行B.我希望最终每个用户都应该拥有表中所有项目的所有行，并且每个行都有相应的计数。

我想将这个数据框转换成上面的数据框，但也有行用户没有看到的项目，并给相应的计数为零。

象下面这样：我认为

User Item Purchased 
1 A 1 
1 B 2 
1 C 0 
1 D 0 
2 A 3 
2 C 4 
2 B 0 
2 D 0 
3 A 3 
3 B 2 
3 D 6 
3 C 0 
only showing top 5 rows 

的一种方式是，在火花如果我使用sqlContext的cross_tab方法将第一数据帧上然后我可以每一行转换为柱，用相应的值。对于用户没有的项目，它会为相同的项目创建一个列，并将其设置为零。

但如何将这些列转换回行？这也可能是一个迂回的方式。

感谢

Answer 1

df = sqlContext.createDataFrame([(1, 'A', 2), (1, 'B', 3), (2, 'A', 2)], ['user', 'item', 'purchased']) 
pivot = df.groupBy('user').pivot('item').sum('purchased').fillna(0) 
items = [i['item'] for i in df.select('item').distinct().collect()] 
flattened_rdd = pivot.rdd.flatMap(lambda x: [(x['user'], i, x[i]) for i in items]) 
sqlContext.createDataFrame(flattened_rdd, ["user", "item", "purchased"]).show() 

Answer 2

我们可以通过只使用仅df功能，以及实现这一目标。

orders = [(1,"A",1),(1,"B",2),(2,"A",3),(2,"C",4),(3,"A",3),(3,"B",2),(3,"D",6)] 
df = sqlContext.createDataFrame(orders, ["user","item","purchased"]) 
df_items = df.select("item").distinct().repartition(5).withColumnRenamed("item", "item_1") 
df_users = df.select("user").distinct().repartition(5).withColumnRenamed("user", "user_1") 
df_cartesian = df_users.join(df_items) 
//above expression returns cartesian product of users and items dfs 
joined_df = df_cartesian.join(df, [df_cartesian.user_1==df.user, df_cartesian.item_1==df.item], "left_outer").drop("user").drop("item") 
result_df = joined_df.fillna(0,["purchased"]).withColumnRenamed("item_1", "item").withColumnRenamed("user_1", "user") 

最后，result_df.show()产生如下图所示愿望输出：

+----+----+---------+ 
|user|item|purchased| 
+----+----+---------+ 
| 2| A|  3| 
| 2| B|  0| 
| 2| C|  4| 
| 2| D|  0| 
| 3| A|  3| 
| 3| B|  2| 
| 3| C|  0| 
| 3| D|  6| 
| 1| A|  1| 
| 1| B|  2| 
| 1| C|  0| 
| 1| D|  0| 
+----+----+---------+