我怎么忽略GROUPBY Scala的第一个元素/火花？

Question

我使用Spark2，飞艇和斯卡拉显示前10个字出现在一个数据集。 我的代码：

z.show(dfFlat.groupBy("value").count().sort(desc("count")), 10) 

给出： 如何忽略“猫”，并通过最后的元素具有“帽子”，即演出2号地块开始？

我想：

z.show(dfFlat.groupBy("value").count().sort(desc("count")).slice(2,4), 10) 

但是这给：

error: value slice is not a member of org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] 

Answer 1

它不是直截了当地丢弃第一行的数据帧（见Drop first row of Spark DataFrame）。

val df = Seq(
    "cat", "cat", "cat", "hat", "hat", "bat" 
).toDF("value") 


val dfGrouped = df 
    .groupBy($"value").count() 
    .sort($"count".desc) 

dfGrouped.show() 

+-----+-----+ 
|value|count| 
+-----+-----+ 
| cat| 3| 
| hat| 2| 
| bat| 1| 
+-----+-----+ 

val dfWithoutFirstRow = dfGrouped 
    .withColumn("rank", dense_rank().over(Window.partitionBy().orderBy($"count".desc))) 
    .where($"rank" =!= 1).drop($"rank") // this filters "cat" 
    .sort($"count".desc) 


dfWithoutFirstRow 
    .show() 

+-----+-----+ 
|value|count| 
+-----+-----+ 
| hat| 2| 
| bat| 1| 
+-----+-----+ 

Answer 2

第一行可以以这种方式被删除：：但是你可以使用窗口功能，做到这一点

val filteredValue = dfGrouped.first.get(0) 
val result = dfGrouped.filter(s"value!='$filteredValue'")