总单列的跨行在星火基于条件的数据帧

Question

考虑下面的数据框：

+-------+-----------+-------+ 
| rid| createdon| count| 
+-------+-----------+-------+ 
| 124| 2017-06-15|  1 | 
| 123| 2017-06-14|  2 | 
| 123| 2017-06-14|  1 | 
+-------+-----------+-------+ 

我需要添加具有createdon和rid都是相同的行中count列。

因此所得到的数据框应该如下：

+-------+-----------+-------+ 
| rid| createdon| count| 
+-------+-----------+-------+ 
| 124| 2017-06-15|  1 | 
| 123| 2017-06-14|  3 | 
+-------+-----------+-------+ 

我使用星火2.0.2。

我已经尝试过agg，条件内选择等，但无法找到解决方案。谁能帮我？

Answer 1

试试这个

import org.apache.spark.sql.{functions => func} 
df.groupBy($"rid", $"createdon").agg(func.sum($"count").alias("count")) 

Answer 2

这应该做你想要什么：

import org.apache.spark.sql.functions.sum 

df 
.groupBy($"rid",$"createdon") 
.agg(sum($"count").as("count")) 
.show