星火，斯卡拉 - 如何从每个组的两个列获得数据帧

Question

前3的值我有一个数据帧包含这些值：

Dept_id | name | salary 
1   A  10 
2   B  100 
1   D  100 
2   C  105 
1   N  103 
2   F  102 
1   K  90 
2   E  110 

我想要的结果形式如下：

Dept_id | name | salary 
1   N  103 
1   D  100 
1   K  90 
2   E  110 
2   C  105 
2   F  102 

在此先感谢:)。

Answer 1

的解决方案类似于Retrieve top n in each group of a DataFrame in pyspark这是pyspark

如果您在斯卡拉做的一样，那么它应该是如下

df.withColumn("rank", rank().over(Window.partitionBy("Dept_id").orderBy($"salary".desc))) 
    .filter($"rank" <= 3) 
    .drop("rank") 

我希望答案是有帮助的