过滤掉星火数据帧的数据在斯卡拉

Question

我有一个数据帧DF，其中包含以下数据：

**customers** **product** **Val_id** 
    1    A   1 
    2    B   X 
    3    C    
    4    D   Z 

我已经成功地过滤数据，其中列val_id是空白

df.where(col("val_id").isin("")) 

但我没能想出一个办法来过滤数据，其中列val_id不是空白​​的，我想是这样的下方，但对我没有工作：

df.where(col("val_id").isnotin("")) 

任何人都可以请帮助我使用Spark Scala实现它。

Answer 1

您可以使用过滤器，从而获得所需的输出：

df.filter("rule_id != ''") 

Answer 2

如果列类型是String：

df.where(trim(col("val_id")) != "") 

Answer 3

假设Val_id为String类型的，你可以使用这种不平等运营商!==：

df.where(col("Val_id") !== "").show 

反之，你也可以使用===匹配空白。