如何火花

Question

利用窗口函数来过滤数据，我有以下数据：

rowid uid time code 
    1 1  5 a 
    2 1  6 b 
    3 1  7 c 
    4 2  8 a 
    5 2  9 c 
    6 2  9 c 
    7 2  10 c 
    8 2  11 a 
    9 2  12 c 

现在我想筛选这样的数据，我可以删除这些行6,7为特定UID我想在代码仅保存一行与值“C”

所以预期的数据应该是：

rowid uid time code 
    1 1  5 a 
    2 1  6 b 
    3 1  7 c 
    4 2  8 a 
    5 2  9 c 
    8 2  11 a 
    9 2  12 c 

我使用的窗函数是这样的：

val window = Window.partitionBy("uid").orderBy("time") 
val change = ((lag("code", 1).over(window) <=> "c")).cast("int") 

这将帮助我们识别代码为'c'的每一行。我可以延长这个过滤掉行，以获得预期的数据

Answer 1

如果你只想删除行其代码=“C”（除了第一个每个UID），你可以尝试以下方法：

val window = Window.partitionBy("uid", "code").orderBy("time") 
val result = df 
    .withColumn("rank", row_number().over(window)) 
    .where(
    (col("code") !== "c") || 
    col("rank") === 1 
) 
    .drop("rank") 

编辑基于新的信息：

val window = Window.partitionBy("uid").orderBy("time") 
val result = df 
    .withColumn("lagValue", coalesce(lag(col("code"), 1).over(window), lit(""))) 
    .where(
    (col("code") !== "c") || 
    (col("lagValue") !== "c") 
) 
    .drop("lagValue")