将数据帧拆分为两个DataFrame

Question

我有一个基于数字具有唯一以及重复记录的日期帧。现在我想将数据帧分成两个数据帧。在第一个数据帧中，我只需要复制唯一的行，而在第二个数据帧中我想要所有重复的行。例如

 id name  number 
    1 Shan  101 
    2 Shan  101 
    3 John  102 
    4 Michel 103 

两个分裂数据框应该像

独特

 id name number 
     3  John 102 
     4  Michel 103 

反复

 id name  number 
     1 Shan  101 
     2 Shan  101 

Answer 1

你试过很可能让你有解决方案。

你的数据看起来像这样

val df = sc.parallelize(Array(
    (1, "Shan",  101), 
    (2, "Shan", 101), 
    (3, "John", 102), 
    (4, "Michel", 103) 
    )).toDF("id","name","number") 

那你自己认为分组和计数。如果你不喜欢这样

val repeatedNames = df.groupBy("name").count.where(col("count")>1).withColumnRenamed("name","repeated").drop("count") 

，那么你可以实际做这样的事情以后得到所有的方式：

val repeated = df.join(repeatedNames, repeatedNames("repeated")===df("name")).drop("repeated") 

val distinct = df.except(repeated) 

repeated show 
+---+----+------+ 
| id|name|number| 
+---+----+------+ 
| 1|Shan| 101| 
| 2|Shan| 101| 
+---+----+------+ 

distinct show 
+---+------+------+ 
| id| name|number| 
+---+------+------+ 
| 4|Michel| 103| 
| 3| John| 102| 
+---+------+------+ 

希望它能帮助。