星火据帧：如何聚合两者数值和名义列

Question

我使用星火Dataframes，并有数据帧df与此类似：

id: String | amount: Double | donor: String 
-------------------------------------------- 
1   | 50    | Mary 
2   |100    | Michael 
1   | 60    | Minnie 
1   | 20    | Mark 
2   | 55    | Mony 

我要聚集我的数据帧中的一个去得到这样的输出：

id: String | amount: Double | donor: Seq[String] 
-------------------------------------------- 
1   |130    | {Mary,Minnie,Mark} 
2   |155    | {Michael, Mony} 

所以我想要做的事，如：

df.groupyBy("id").agg(sum("amount"),_?Seq?_("donor"))

聚合数字之和很容易，但我找不到将文本内容聚合为序列或数组（或任何类似Iterable类型）的方法。我如何在scala/spark中做到这一点？

编辑：

我要寻找一些火花数据帧或基于RDD功能做字符串的集合。下面提到的函数collect_set是基于Hive的，我需要特定的依赖关系。但我在我的项目中完全没有使用Hive。

Answer 1

尝试：

df.groupyBy("id").agg(sum("amount"), collect_list("donor")) 

或

df.groupyBy("id").agg(sum("amount"), collect_set("donor"))