我有一个DataFrame,DataFrame hava两列'value'和'timestamp','timestmp'是有序的,我想得到DataFrame的最后一行,我该怎么办?如何从DataFrame获取最后一行?
这是我输入:
+-----+---------+
|value|timestamp|
+-----+---------+
| 1| 1|
| 4| 2|
| 3| 3|
| 2| 4|
| 5| 5|
| 7| 6|
| 3| 7|
| 5| 8|
| 4| 9|
| 18| 10|
+-----+---------+
这是我的代码:
val arr = Array((1,1),(4,2),(3,3),(2,4),(5,5),(7,6),(3,7),(5,8),(4,9),(18,10))
var df=m_sparkCtx.parallelize(arr).toDF("value","timestamp")
这是我预期的结果:
+-----+---------+
|value|timestamp|
+-----+---------+
| 18| 10|
+-----+---------+
请问'df.where($ “时间戳” === MAX($ “时间戳”)'工作? –
它亘古不变的工作交流rangepartitioning(TS# 7 ASC NULLS FIRST,200) – mentongwu