2016-09-19 131 views
1

从阅读复杂json的My Data Frame输出如下所示。转换为具有行列表的正常数据帧。将行拆分为列

其中单个行是单列内的列表。

下面是示例数据帧(df

col 
[A,1,3,4,Null] 
[B,4,5,6,Null] 
[C,7,8,9,Null] 

我试着用熊猫拆分到各个列,但它没有工作作为各行本身是一个列表。 我希望数据框如下所示。

colA,colB,colC,colD,colE 
A 1 3  4 Null 
B 4 5  6 Null 
C 7 8  9 Null 

我不需要列名手动指定它可以自动生成。

回答

1

您可以使用DataFrame.from_records,但首先需要从col列的值创建嵌套list

df = pd.DataFrame({'col':[['A',1,3,4,'Null'],['B',4,5,6,'Null'],['C',7,8,9,'Null']]}) 
print (df) 
        col 
0 [A, 1, 3, 4, Null] 
1 [B, 4, 5, 6, Null] 
2 [C, 7, 8, 9, Null] 

print (df.col.values.tolist()) 
[['A', 1, 3, 4, 'Null'], ['B', 4, 5, 6, 'Null'], ['C', 7, 8, 9, 'Null']] 

df1 = pd.DataFrame.from_records(df.col.values.tolist(), 
           columns=['colA','colB','colC','colD','colE']) 

print(df1) 
    colA colB colC colD colE 
0 A  1  3  4 Null 
1 B  4  5  6 Null 
2 C  7  8  9 Null 

如果不需要指定列名:

df1 = pd.DataFrame.from_records(df.col.values.tolist()) 
print(df1) 
    0 1 2 3  4 
0 A 1 3 4 Null 
1 B 4 5 6 Null 
2 C 7 8 9 Null 

时序

#len(df) = 4k 
df = pd.concat([df]*1000).reset_index(drop=True) 

In [80]: %timeit pd.DataFrame(df['col'].apply(pd.Series).values, columns=['colA','colB','colC','colD','colE']) 
1 loop, best of 3: 753 ms per loop 

In [81]: %timeit pd.DataFrame.from_records(df.col.values.tolist(), columns=['colA','colB','colC','colD','colE']) 
100 loops, best of 3: 3.73 ms per loop 
0

您可以使用applypd.Series男星每行的结果,建立一个DF:

In [99]: 
pd.DataFrame(df['col'].apply(pd.Series).values, columns=['colA','colB','colC','colD','colE']) 

Out[99]: 
    colA colB colC colD colE 
0 A 1 3 4 Null 
1 B 4 5 6 Null 
2 C 7 8 9 Null