1
我有一个DataFrame
为A,如:如何计算日期的最大值为每列上的数据帧与pyspark
+---+---+---+---+----------+
|key| c1| c2| c3| date|
+---+---+---+---+----------+
| k1| -1| 0| -1|2015-04-28|
| k1| 1| -1| 1|2015-07-28|
| k1| 1| 1| 1|2015-10-28|
| k2| -1| 0| 1|2015-04-28|
| k2| -1| 1| -1|2015-07-28|
| k2| 1| -1| 0|2015-10-28|
+---+---+---+---+----------+
这些代码来创建答:
data = [('k1', '-1', '0', '-1','2015-04-28'),
('k1', '1', '-1', '1', '2015-07-28'),
('k1', '1', '1', '1', '2015-10-28'),
('k2', '-1', '0', '1', '2015-04-28'),
('k2', '-1', '1', '-1', '2015-07-28'),
('k2', '1', '-1', '0', '2015-10-28')]
A = spark.createDataFrame(data, ['key', 'c1', 'c2','c3','date'])
A = A.withColumn('date',A.date.cast('date'))
我想最大日期的某些列从c1到c5的值等于1或-1。 B的预期的结果:
+---+----------+----------+----------+----------+----------+----------+
|key| c1_1| c2_1| c3_1| c1_-1| c2_-1| c3_-1|
+---+----------+----------+----------+----------+----------+----------+
| k1|2015-10-28|2015-10-28|2015-10-28|2015-04-28|2015-07-28|2015-04-28|
| k2|2015-10-28|2015-07-28|2015-04-28|2015-07-28|2015-10-28|2015-07-28|
+---+----------+----------+----------+----------+----------+----------+
我的预览的解决方案是通过使用枢轴操作来分别计算从C1-C2的列,然后再加入新创建的那些DateFrames
。但是,在我的情况下,专栏太多了,我遇到了表演的问题。所以,我希望得到其他解决方案来替代DataFrame
的加入。