1
我需要了解如何根据Spark中使用Java的单个数据框从数据框中删除重复的行。如何根据Spark SQL中的单个列删除重复的行使用JAVA
与正常的SQL一样，ROW_NUMBER（）OVER（PARTITION BY col ORDER BY COL DESC）。如何将此步骤转换为Java中的Spark SQL？
A
回答
0
您可以使用dataframe.dropDuplicates（“col1”）从数据框中删除重复项。它将删除在col1中重复的所有行。该API可从病房的Spark 2.x获得。
0
您正在正确查看。我们应该使用窗口函数，然后用row_number = 1过滤出数据帧以获取最新记录（按字段排序有助于赋予row_number）。
请按照以下链接。
http://xinhstechblog.blogspot.com/2016/04/spark-window-functions-for-dataframes.html
相关问题
- 1. SQL根据多列删除同一个表中的重复行
- 2. 如何根据另一个列条件删除重复的行？
- 3. 根据列中单元格的值删除重复的行
- 4. 如何根据postgreSQL中的一列删除重复的行？
- 5. Excel VBA如何根据C列删除所有重复的行
- 6. 根据其他列值删除sql中的重复项
- 7. SQL删除重复的行
- 8. 根据匹配列删除df中的重复行
- 9. 如何使用OVER子句删除SQL Server中的重复行？
- 10. 如何删除数据不在列中的重复数据行
- 11. 根据列的动态数量删除重复的行
- 12. 如何根据使用python重复删除csv文件中的特定行？
- 13. SQL：使用子句删除重复行
- 14. 如何删除特定列中具有重复值的行SQL
- 15. 根据单个列中的值删除R中的行
- 16. SQL删除行与1列重复
- 17. SQL - 从表中删除重复的行
- 18. SQL根据其他行删除重复行
- 19. SQL删除某列中的重复项
- 20. SQL Server 2014：根据行中几个字段之一删除重复的记录
- 21. 如何删除Excel 2010中单个列中的重复项
- 22. 熊猫 - 根据列删除重复的行
- 23. 如何使用java删除重复的单词
- 24. Oracle SQL - 如何根据列中的值重复一个字符
- 25. 如何删除sql中的重复项
- 26. 如何根据特定列中的最后几个字符删除重复项？
- 27. 如何根据两个自定义对象删除列表中的重复项
- 28. 如何在单个列中存在重复条目时删除重复行
- 29. 如何比较两个表并删除SQL中的重复行？
- 30. SQL服务器：删除重复根据两列