我想对带有日期时间索引的数据帧执行连接/合并/附加操作。加入或合并覆盖熊猫
比方说,我有df1
,我想添加df2
。 df2
可以包含更少或更多的列以及重叠的索引。对于索引匹配的所有行,如果df2
与df1
具有相同的列,我希望df1
的值被来自df2
的值覆盖。
我该如何获得想要的结果?
我想对带有日期时间索引的数据帧执行连接/合并/附加操作。加入或合并覆盖熊猫
比方说,我有df1
,我想添加df2
。 df2
可以包含更少或更多的列以及重叠的索引。对于索引匹配的所有行,如果df2
与df1
具有相同的列,我希望df1
的值被来自df2
的值覆盖。
我该如何获得想要的结果?
In [33]: df2
Out[33]:
A B C D
2000-01-03 0.638998 1.277361 0.193649 0.345063
2000-01-04 -0.816756 -1.711666 -1.155077 -0.678726
2000-01-05 0.435507 -0.025162 -1.112890 0.324111
2000-01-06 -0.210756 -1.027164 0.036664 0.884715
2000-01-07 -0.821631 -0.700394 -0.706505 1.193341
2000-01-10 1.015447 -0.909930 0.027548 0.258471
2000-01-11 -0.497239 -0.979071 -0.461560 0.447598
In [34]: df1
Out[34]:
A B C
2000-01-03 2.288863 0.188175 -0.040928
2000-01-04 0.159107 -0.666861 -0.551628
2000-01-05 -0.356838 -0.231036 -1.211446
2000-01-06 -0.866475 1.113018 -0.001483
2000-01-07 0.303269 0.021034 0.471715
2000-01-10 1.149815 0.686696 -1.230991
2000-01-11 -1.296118 -0.172950 -0.603887
2000-01-12 -1.034574 -0.523238 0.626968
2000-01-13 -0.193280 1.857499 -0.046383
2000-01-14 -1.043492 -0.820525 0.868685
In [35]: df2.comb
df2.combine df2.combineAdd df2.combine_first df2.combineMult
In [35]: df2.combine_first(df1)
Out[35]:
A B C D
2000-01-03 0.638998 1.277361 0.193649 0.345063
2000-01-04 -0.816756 -1.711666 -1.155077 -0.678726
2000-01-05 0.435507 -0.025162 -1.112890 0.324111
2000-01-06 -0.210756 -1.027164 0.036664 0.884715
2000-01-07 -0.821631 -0.700394 -0.706505 1.193341
2000-01-10 1.015447 -0.909930 0.027548 0.258471
2000-01-11 -0.497239 -0.979071 -0.461560 0.447598
2000-01-12 -1.034574 -0.523238 0.626968 NaN
2000-01-13 -0.193280 1.857499 -0.046383 NaN
2000-01-14 -1.043492 -0.820525 0.868685 NaN
注意,它需要从df1
的值不与df2
重叠指数。如果这不完全是你想要的,我会愿意改进这个功能/添加选项。
对于这样的合并,DataFrame的update
方法很有用。
以实例从documentation:
import pandas as pd
import numpy as np
df1 = pd.DataFrame([[np.nan, 3., 5.], [-4.6, np.nan, np.nan],
[np.nan, 7., np.nan]])
df2 = pd.DataFrame([[-42.6, np.nan, -8.2], [-5., 1.6, 4]],
index=[1, 2])
数据之前update
:
>>> df1
0 1 2
0 NaN 3.0 5.0
1 -4.6 NaN NaN
2 NaN 7.0 NaN
>>>
>>> df2
0 1 2
1 -42.6 NaN -8.2
2 -5.0 1.6 4.0
让我们更新df1
的数据与来自df2
:
df1.update(df2)
更新后的数据:
>>> df1
0 1 2
0 NaN 3.0 5.0
1 -42.6 NaN -8.2
2 -5.0 1.6 4.0
备注:
update
数据帧是很重要的。这比'combine_first'更直观,因为它的行为与我们从字典中知道的'update'方法完全一样。 – saroele 2017-04-03 12:06:29
我认为这确实是我想要的,非常感谢。 – saroele 2012-03-20 22:26:16
'combine_first'存在一个问题 - 使用它来组合三个大约30k行的数据框,每个数据框都超过了我所有的内存。任何方式在这个? – scry 2012-08-06 12:00:35
我认为如果这个功能是可选参数'join ='outer''(目前只实现'left')的'df.update'函数的一部分,它会更加直观。 在我的情况下,'df2'(从'df1'计算)的列数比'df1'少(但有些不在'df1'中),我想用可能的值更新'df1'加上额外的列。为此,我认为'df1.update(df2,join ='outer')'比'df1 = df2.combine_first(df1)'更容易理解。 PS:这是一个小问题,但否则“熊猫”几乎完全是真棒! =) – Axel 2017-09-14 13:03:30