2017-08-25 53 views
1

我有两个dataframes DF & DF2,我想用*合并它们作为通配符如何基于通配符加入熊猫数据框?

import pandas as pd 
data = [[".",".",1],["AB.","B.",3],["B.",".",2]] 
data2 = [["A","B","1"],["ABC","BC",4],["B","A",2]] 
columns = ["Type1","Type2","Value"] 
df = pd.DataFrame(data,columns=columns) 
df2 = pd.DataFrame(data2,columns=columns) 
print(df) 
print(df2) 
    Type1 Type2 Value 
0  *  *  1 
1 AB* B*  3 
2 B*  *  2 
    Type1 Type2 Value 
0  A  B  1 
1 ABC BC  4 
2  B  A  2 

通常这里DF2的第二行应与线1和线2 而在DF2线0应只匹配df1的第一行。 不知怎的,我想获得像

df2.merge(df,how='left',on=["Type1","Type2"]) 

但这里的结果不匹配任何东西。

这是我希望得到的结果。

data3 = [["A","B","1","1"],["ABC","BC",4,1],["ABC","BC",4,3],["B","A",2,1],["B","A",2,2]] 
columns3 = ["Type1","Type2","Value_x","Value_y"] 
results = pd.DataFrame(data3,columns=columns3) 
print(results) 
    Type1 Type2 Value_x Value_y 
0  A  B  1  1 
1 ABC BC  4  1 
2 ABC BC  4  3 
3  B  A  2  1 
4  B  A  2  2 

请注意,df2表实际上有超过100万行,所以我无法承担效率原因的循环。

+0

您的预期结果是什么? – Alexander

+0

好吧,我只是做到了:) – Nicolas

回答

0

最后我决定使用下面的代码。这将数据帧传输到SQLite数据库,然后执行连接并最终将其返回到另一个数据帧。这不是最佳的,但它的工作原理。

import sqlite3 
conn = sqlite3.connect(':memory:') 
df.to_sql('df', conn, index=False) 
df2.to_sql('df2', conn, index=False) 
query = """ 
SELECT [df2].[Type1], 
     [df2].[Type2], 
     [df2].[value], 
     [df].[value] 
FROM ([df] 
     LEFT OUTER JOIN [df2] 
        ON [df].[type1] LIKE [df2].[type1] 
        AND [df].[type2] LIKE [df2].[type2]) 
""" 
df3 = pd.read_sql_query(query, conn) 
conn.close()