从现有的DataFrames构建分层索引的DataFrame

我有两个数据框具有相同的列和索引。我想将它们合并到具有分层索引的第三个数据框中，维护当前的索引并添加第二个数据表明每个DataFrame的来源。这是我的尝试：从现有的DataFrames构建分层索引的DataFrame

df_a = pd.DataFrame(randn(3, 2), columns=["x", "y"], index=range(3)) 
df_b = pd.DataFrame(randn(3, 2), columns=["x", "y"], index=range(3)) 
tuples = list(itertools.product(["a", "b"], range(3))) 
df = pd.DataFrame(columns=["x", "y"], index=pd.MultiIndex.from_tuples(tuples)) 
df.loc["a"] = df_a 
df.loc["b"] = df_b

然而，df仍然充满NaNs，当我预期得到与值从df_a和df_b填写。这确实工作：

df.loc["a"] = np.array(df_a)

，但似乎都迂回和错误。

我对层级索引有什么不了解？什么是实现我的目标的最佳方式？

来源

2013-05-04 mwaskom

In [1]: df_a = pd.DataFrame(randn(3, 2), columns=["x", "y"], index=range(3)) 

In [2]: df_b = pd.DataFrame(randn(3, 2), columns=["x", "y"], index=range(3)) 

In [3]: pd.concat([df_a, df_b], keys=['a', 'b']) 
Out[3]: 
      x   y 
a 0 0.913812 -1.719241 
    1 0.544462 0.845426 
    2 -0.269518 -1.549679 
b 0 0.534311 1.693824 
    1 0.119147 -0.171002 
    2 0.595658 0.588252

来源

2013-05-05 02:11:11 Garrett

的另一种方法来实现这个，而不是填充数据帧df，是多索引添加到原始阵列（df_a和df_b），然后它们串联（见下文）。

原因df未被填充是因为熊猫根据索引进行数据对齐。当分配df.ix["a"]与另一个数据帧时，它会填充索引匹配的值。为了说明这一点：

>>> df = pd.DataFrame(randn(3, 2), columns=["x", "y"], index=range(3)) 
>>> df2 = pd.DataFrame(zeros((1, 2)), columns=["x", "y"], index=range(2,3)) 
>>> df 
      x   y 
0 -0.995116 0.132438 
1 -0.023010 -0.211612 
2 -0.053206 0.427369 
>>> df2 
    x y 
2 0 0 
>>> df.ix[:] = df2 
>>> df 
    x y 
0 NaN NaN 
1 NaN NaN 
2 0 0

在分配numpy的阵列（或列表，...），没有指数匹配，所以它只是填充数据帧（也播出在这种情况下）：

>>> df.ix[:] = df2.values 
>>> df 
    x y 
0 0 0 
1 0 0 
2 0 0

所以，你的情况，当你尝试分配df_a到df.ix['a']，指数不匹配（多指标与正常指数），并没有被分配（或更精确：充满NaN的）。但是，当你第一次转换df_a也有同样多指标，它的工作：

>>> df_a = pd.DataFrame(randn(3, 2), columns=["x", "y"], index=range(3)) 
>>> df_b = pd.DataFrame(randn(3, 2), columns=["x", "y"], index=range(3)) 
>>> 
>>> tuples = list(itertools.product(["a", "b"], range(3))) 
>>> df = pd.DataFrame(columns=["x", "y"], index=pd.MultiIndex.from_tuples(tuples)) 
>>> 
>>> df_a.index = pd.MultiIndex.from_tuples([tuple(('a', i)) for i in df_a.index]) 
>>> 
>>> df.ix["a"] = df_a 
>>> df 
      x   y 
a 0 1.533881 1.276075 
    1 -0.5143746 -0.3400633 
    2 -1.071509 1.831282 
b 0  NaN  NaN 
    1  NaN  NaN 
    2  NaN  NaN

或如上所述，使用numpy的数组时（在.values属性返回的数据作为numpy的阵列），但它也行：

>>> df.ix["b"] = df_b.values 
>>> df 
       x   y 
a 0  1.533881 1.276075 
    1 -0.5143746 -0.3400633 
    2 -1.071509 1.831282 
b 0 0.06535034 -0.6276186 
    1 0.008100781 0.9512881 
    2 0.08688541 -0.7101486

但我认为，另一种方式来实现这一目标，而不是填充数据帧df，是多索引添加到原数组，然后连接它们：

要将其转化为多指标，你可以做这样的：

>>> df_a['df'] = 'a' 
>>> df_b['df'] = 'b' 
>>> 
>>> df_a = df_a.set_index('df', append=True) 
>>> df_b = df_b.set_index('df', append=True)

或像这样：

>>> df_a.index = pd.MultiIndex.from_tuples([tuple(('a', i)) for i in df_a.index]) 
>>> df_b.index = pd.MultiIndex.from_tuples([tuple(('b', i)) for i in df_b.index])

，然后你可以将它们连接起来：

>>> df = pd.concat([df_a, df_b]) 
>>> df 
      x   y 
    df      
0 a -0.225156 -0.846229 
1 a 1.566139 0.892763 
2 a -1.291920 -0.517408 
0 b 1.464853 0.792709 
1 b -1.307375 -0.360373 
2 b 0.467406 1.249325 
>>> 
>>> df.swaplevel(0,1) 
      x   y 
df      
a 0 -0.225156 -0.846229 
    1 1.566139 0.892763 
    2 -1.291920 -0.517408 
b 0 1.464853 0.792709 
    1 -1.307375 -0.360373 
    2 0.467406 1.249325

来源

2013-05-04 08:46:35 joris

从现有的DataFrames构建分层索引的DataFrame

回答

相关问题